Inicia rápido con la IA Genérativa con Podman AI Lab y Quarkus

Introducción al ponente y la charla

«Hoy tenemos a un gran ponente, José Luis Bugarín, principal Solution Architect en Red Hat.»

• José Luis Bugarín, mencionado como ponente principal, comparte su experiencia en la promoción de tecnologías de código abierto a nivel global.
• Él se conecta con la audiencia, resaltando su compromiso de compartir conocimientos adquiridos en su viaje por diversas partes del mundo.
• La charla se centra en el uso de herramientas como Potman y la Inteligencia Artificial Generativa, con énfasis en la accesibilidad de estas tecnologías.

Potman y la Inteligencia Artificial Generativa

«Potman es una herramienta de gestión de contenedores que ha evolucionado significativamente.»

• Potman es presentada como una alternativa a Docker para gestionar contenedores sin la necesidad de un demonio o agente, simplificando la integración con otros sistemas.
• El enfoque de Potman se basa en facilitar el uso de tecnología de contenedores, permitiendo a los desarrolladores crear y ejecutar aplicaciones de manera más efectiva.
• Se menciona Potman AI Lab como un proyecto que integra Potman con flujos de trabajo de inteligencia artificial, diseñado para apoyar el aprendizaje y uso rápido de estas tecnologías.

Capacidades de Interacción y Simplicidad

«No necesitas escribir una línea de código para utilizar todo esto.»

• La demo destaca que los usuarios no requieren experiencia previa en programación para volverse competentes en el uso de Potman AI Lab, gracias a su interfaz gráfica intuitiva.
• La herramienta permite desde la descarga de modelos hasta la creación de chatbots, proporcionando una poderosa plataforma de trabajo que simplifica la implementación de inteligencia artificial.
• Además, Potman AI Lab genera automáticamente el código necesario para integrarse con proyectos existentes, facilitando el trabajo a los desarrolladores.

Parámetros del Modelo LLM

«Conocer los parámetros del modelo te va a servir para que de mayor contexto, menor contexto, para que pueda afinarse más las respuestas.»

• Es fundamental entender los parámetros utilizados en los modelos LLM, como temperatura, cantidad de tokens máximos y top-p. Estos coeficientes son esenciales para ajustar cómo el modelo genera respuestas, permitiendo un mejor afinado según el contexto deseado.
• En este proceso, se puede proporcionar un contexto adicional al prompt. Por ejemplo, durante una sesión en vivo, el presentador pregunta específicamente sobre el Java User Group de Perú, lo que permite al modelo generar una respuesta relevante basada en la consulta actual.
• Las respuestas del modelo pueden ser variadas; pueden ser positivas, negativas o lo que se conoce como «alucinaciones», que son respuestas que no guardan relación con el contexto o contenido solicitado.

Generación de Modelos Personalizados

«Si tú quieres hacerlo con tus datos de la propia organización, hay que utilizar herramientas tipo Instruction Lab para poder generar tu propio modelo y no sobre los modelos existentes.»

• Para adaptar un modelo a datos específicos de una organización, se recomienda utilizar herramientas como Instruction Lab. Esto permite la creación de modelos personalizados basados en la propia información, en lugar de depender de modelos públicos.
• El proceso inicia al crear un archivo de preguntas y respuestas (QnA), donde se estructuran las consultas y sus respectivas respuestas. Este archivo adopta un formato YAML, lo que permite que sea fácilmente interpretable por el sistema.
• Se mencionó la creación de un modelo sobre Claudio Pizarro, donde se estructuran preguntas clave sobre su carrera para generar respuestas informativas. Esto ilustra cómo se forma la base de datos que el modelo utilizará para ofrecer respuestas contextualizadas.

Integración con Aplicaciones y Ejecución Local

«Vamos a realizar procesos de manera gráfica sin necesidad de introducir una línea de código.»

• El video demuestra cómo integrar y ejecutar un modelo utilizando Quarkus, destacando la facilidad de uso de interfaces gráficas que permiten a los usuarios interactuar sin necesidad de tener conocimientos profundos de programación.
• Por ejemplo, se establece una conexión en localhost para enviar consultas y recibir respuestas, enfatizando que este proceso puede ser manejado desde una interfaz gráfica, lo que simplifica la experiencia para el usuario.
• La demostración incluye la revisión de cómo observar y manejar los distintos modelos en ejecución, asegurando que la aplicación sea capaz de interactuar eficazmente con el modelo de lenguaje establecido.

Funcionamiento del Chatbot y sus Respuestas

«El chatbot está procesando y brindando respuestas, pero requiere un poco de paciencia.»

• El video muestra el uso de un chatbot que responde a preguntas, en este caso, se tratan temas relacionados con países de Sudamérica y sus ciudades notables como Lima, Arequipa y Cuzco.
• El proceso de respuesta del chatbot se observa en tiempo real, lo que demuestra la importancia de ser pacientes mientras el sistema procesa la solicitud y genera una respuesta informativa.
• El chatbot también destaca que, aunque proporciona información valiosa, puede incluir errores o «alucinaciones», que son respuestas incorrectas generadas por el modelo.

Importancia del Open Source en Proyectos de Chatbots

«La idea del Open Source es poder revisar cómo se construyen estos proyectos.»

• Se menciona que uno de los beneficios del enfoque de código abierto es la capacidad de los usuarios para examinar cómo se creó el chatbot y qué tecnologías se utilizaron.
• Este acceso al código permite a los desarrolladores y usuarios aprender y experimentar con la inteligencia artificial, proporcionando una base para mejorar y adaptar futuros proyectos utilizando estos modelos.

Experiencia con Modelos de Lenguaje y Pruebas

«Puedes jugar con modelos de lenguaje generativa y experimentar en distintas plataformas.»

• El autor comparte su experiencia utilizando la herramienta Postman para trabajar con modelos de lenguaje, mencionando que ha podido construir un proyecto en Java en un corto periodo de tiempo.
• Además, indica la importancia de experimentar con diferentes configuraciones y parámetros para optimizar las respuestas generadas, sugeriendo que los usuarios ajusten los parámetros en el playground de la herramienta.

Controlando la Precisión de las Respuestas de los Modelos de Lenguaje

«Para controlar la eficacia de los modelos de lenguaje, es fundamental contar con fuentes de datos verificables.»

• El panel discute cómo se puede abordar el problema de las «alucinaciones» en los modelos de lenguaje, enfatizando la necesidad de un equipo de expertos para asegurar la validez de las respuestas generadas.
• Se menciona que la calidad de la información brindada por el chatbot depende de la veracidad de los datos con los que se entrena, subrayando la importancia de gestionar y seleccionar fibras de datos apropiadas.

Funcionamiento de RAG y Bases de Datos Vectoriales

«Un RAG permite agregar conocimientos adicionales a un modelo sin reentrenarlo por completo.»

• Un modelo RAG (Retrieval-Augmented Generation) funciona integrando información adicional a un modelo existente mediante un archivo de texto que contiene datos relevantes. Esto permite que el modelo responda preguntas específicas, como la identificación de miembros de un grupo de usuarios, sin necesidad de un reentrenamiento completo.
• La base de datos vectorial actúa como un índice para ayudar al modelo a localizar información en múltiples fuentes. Así, se busca optimizar el acceso a datos relevantes y proporcionar respuestas más precisas y contextualizadas.

Despliegue en Entornos de Contenedores

«Es posible desplegar el servicio en Azure Kubernetes Services (AKS) o Amazon Elastic Kubernetes Service (EKS).»

• Los modelos de inteligencia artificial pueden ser desplegados en diversas plataformas de contenedores, como AKS, EKS y otras variantes de Kubernetes, facilitando la adopción de arquitecturas de microservicios.
• Aplicaciones como Quarkus pueden ser empaquetadas en imágenes de contenedores y ejecutadas en diferentes entornos de tiempo de ejecución, lo que proporciona flexibilidad en la infraestructura y operaciones de desarrollo.

Desafíos con Modelos de IA Públicos

«Los modelos públicos no contienen información específica de tu empresa o contexto particular.»

• Es crucial ser cauteloso con el uso de modelos de inteligencia artificial públicos, como GPT y sus variantes, ya que estos modelos no incluyen información interna ni específica sobre organizaciones, lo que limita su efectividad en consultas contextualizadas.
• Por lo tanto, las empresas deben considerar generar modelos que integren su propia información para responder de manera más adecuada a sus necesidades, protegiendo al mismo tiempo la confidencialidad de los datos sensibles.

Democratización de herramientas de Inteligencia Artificial

«Estamos democratizando las herramientas de inteligencia artificial para que cualquier persona las pueda usar.»

• La charla se centra en el esfuerzo de hacer accesibles las herramientas de inteligencia artificial a un público más amplio.
• Se menciona la realización de experimentos recientes con periodistas y abogados, enfatizando que la complejidad de estas herramientas no es un obstáculo significativo.
• El objetivo principal es simplificar el uso de inteligencia artificial generativa, buscando que sea intuitivo y fácil para todos los usuarios.
• Se anima a los oyentes a estar al tanto de las actualizaciones y recursos que se comparten a través de LinkedIn y otras plataformas para promover la educación continua en este ámbito.

Reflexión sobre la experiencia laboral

«Estamos muy contentos y orgullosos de ti porque vas por todo el mundo.»

• Se hace hincapié en la importancia de compartir experiencias y conocimientos adquiridos en el ámbito laboral, mostrando orgullo por los logros de los participantes en la discusión.
• La conversación destaca la relevancia de mantener conexiones y diálogos abiertos sobre el uso de la tecnología en diferentes profesiones, así como los retos y avances que se van encontrando en el camino.