Inteligencia Artificial Generativa con InstructLab

Instalación y Configuración de Instru laap

«Voy a mostrarles cómo funciona Instruclab sobre Red Hat Enterprise Linux.»

• Instruclab está diseñado para funcionar en Red Hat Enterprise Linux y permite la creación de modelos generativos basados en LLM (Modelos de Lenguaje de Gran Tamaño).
• Para comenzar, hay que establecer un directorio de trabajo; en este caso, se utiliza la carpeta ‘instruct’.
• Es recomendable crear un entorno virtual en Python utilizando virtualenv para mantener la independencia de las ejecuciones y facilitar la gestión de paquetes.
• También es necesario instalar Git para habilitar la conexión a repositorios y permitir la descarga de modelos, utilizando el comando pip3 install git.
• Al verificar el funcionamiento de Instruclab se puede utilizar el comando ilab, que debería devolver una serie de comandos disponibles tras comprobar su versión.

Inicialización y Configuración de Modelos

«Para inicializar Instruclab , necesito iniciar la configuración con el comando ilab config init.»

• La inicialización de Instruclab requiere configurar varios parámetros que serán almacenados en un archivo de configuración config.yaml.
• Durante la configuración, el usuario responderá a una serie de preguntas sobre variables y dispositivos, como por ejemplo el tipo de GPU a utilizar y la memoria RAM disponible.
• Se puede optar por usar configuraciones por defecto o personalizar algunos valores; sin embargo, es esclarecedor afrontar las preguntas para entender mejor cada opción disponible.
• Después de realizar la configuración, se habilita la opción de descargar modelos. Por defecto, Instructlab emplea el modelo ‘merlinite’.

Descarga y Uso de Modelos

«Ahora puedo descargar mi primer modelo con la instrucción ilab model download.»

• Para descargar un modelo distinto al predeterminado, se emplea el comando ilab model download, seguido de la ruta del repositorio y el nombre del archivo del modelo con la extensión .ggf.
• La descarga se realiza desde Hugging Faces, un portal que hospeda muchos modelos y documentación sobre inteligencia artificial generativa.
• Tras la descarga, se debe indicar a Instruclab el modelo que se quiere utilizar, especificando la ruta del modelo descargado junto con el comando ilab model.
• Existen diferentes servidores de inferencia que se pueden utilizar, como llama.cpp o vllm, cada uno con características específicas.

Ejecución y Pruebas de Modelos

«Para iniciar el modelo de chat, debería utilizar ilab model chat y darle la ruta de este modelo con extensión .ggf.»

• Al utilizar el modelo de chat, el sistema presenta un entorno interactivo donde se pueden realizar preguntas y obtener respuestas del modelo.
• Los modelos preentrenados permiten obtener estadísticas sobre el tiempo que tarda el modelo en responder, lo que es crucial para evaluar su rendimiento.
• Se puede enriquecer el modelo utilizando datos específicos de la organización y personalizando el entrenamiento según las necesidades del usuario.

Taxonomía y Creación de Entrenamiento

«La taxonomía es una agrupación por dominios de conocimiento donde vamos a comenzar a crear y entrenar nuestros modelos.»

• La taxonomía dentro de Instruclab permite organizar la información y los modelos por dominios de conocimiento específicos, como salud o ingeniería.
• Se puede navegar y explorar la estructura de directorios utilizada por Instruclab para ver cómo se agrupan los conocimientos.
• Al crear un directorio de trabajo, se pueden usar archivos predeterminados que ayudan en el entrenamiento.
• La creación de un archivo qna.yaml es esencial, ya que contendrá la metadata y las preguntas y respuestas que serán utilizadas durante el entrenamiento del modelo.

Importancia del archivo QNA para el entrenamiento de modelos generativos

«El archivo QNA es crucial para el entrenamiento de modelos generativos, ya que estructura información esencial.»

• El archivo QNA juega un papel fundamental en la formación de modelos generativos. Este archivo organiza diversos elementos, como el contexto, la pregunta y la respuesta, lo cual potencia la capacidad de referencia del modelo.
• Al incorporar detalles específicos y pertinentes, el archivo QNA permite que el modelo genere enlaces o dirija al usuario a fuentes de información adicionales según sea necesario.
• Además, es vital especificar el repositorio y el hash correspondiente del modelo almacenado para facilitar la correlación entre los datos.

Proceso de generación de datos sintéticos

«La generación de datos sintéticos puede demorar dependiendo de la capacidad de cómputo y la cantidad de información para entrenamiento.»

• La generación de datos sintéticos es un proceso técnico que puede tomar tiempo, dependiendo tanto de la capacidad de cómputo disponible como de la cantidad de información que se requiere para entrenar el modelo.
• El resultado de este procedimiento es un archivo en formato JSON que contiene todos los datos sintéticos generados, listo para ser analizado y evaluado.
• Una vez que se genera el archivo, el usuario puede explorar su contenido utilizando diferentes comandos en la terminal para obtener una mejor comprensión de la información.

Navegación y análisis de archivos generados

«Se puede analizar el archivo generado a través de comandos en la terminal o conectándose por SFTP.»

• El usuario puede acceder y listar los archivos generados con fechas específicas para identificar el nuevo contenido creado, como aquellos del modelo utilizado.
• Al ejecutar un comando específico, se puede ver el contenido de un archivo JSON, lo que permite al usuario entender mejor la estructura de los datos sintéticos producidos.
• Igualmente, si se conecta a través de SFTP, se pueden descargar los archivos para un análisis más exhaustivo.

Reinicio y actualización del modelo de inferencia

«Reiniciar el modelo de inferencia permite probar actualizaciones con nueva información.»

• Reiniciar el modelo de inferencia es un paso crucial cuando se desean realizar pruebas con información actualizada. Este proceso asegura que el sistema opere con los datos más recientes.
• Al exponer el nuevo archivo que contiene datos de entrenamiento, se puede iniciar una nueva sesión de prueba en la que las respuestas del modelo se basarán en la información actualizada.
• Con este procedimiento, es posible observar las variaciones en las respuestas del modelo a lo largo del tiempo y mejorar la interacción con el sistema, facilitando la práctica y el aprendizaje en el uso de inteligencia artificial generativa.