Modelo LLM con PodMan AI Lab y Java Quarkus con LangChain4J

Quarkus es un framework de Java que permite construir aplicaciones de microservicios. En este contexto, se utiliza para integrar modelos de inteligencia artificial, facilitando el acceso y consulta de estos modelos dentro de una aplicación programada en Java. Esto permite a los desarrolladores implementar soluciones de IA en sus proyectos de manera eficiente.

Podman AI Lab es una herramienta que permite a los usuarios experimentar con modelos de inteligencia artificial. Facilita la integración de estos modelos dentro de aplicaciones como Quarkus y ofrece funcionalidades como la importación de modelos entrenados y la generación de documentación técnica.

«Voy a mostrar un poco de Potman AI Lab para poder entender e integrar con la aplicación Quarkus.»

• José Luis Bugarín presenta un video tutorial donde enseña a integrar modelos de inteligencia artificial utilizando Podman AI Lab y la aplicación Quarkus. Está utilizando una laptop equipada con 8 CPUs virtuales y 32 GB de RAM, sin tarjeta gráfica para acelerar procesos.
• Destaca que Podman AI Lab cuenta con interfaces gráficas ya configuradas y permite importar modelos entrenados, mostrando la flexibilidad en su uso. Para el ejemplo, utilizará los modelos Granite y Merlinite.

Integración y ejecución en Java

«Selecciono la opción, le pongo el framework que es LangChain y ya tengo el archivo de propiedades que necesito.»

• Al integrar los modelos con Java Quarkus, Bugarín elige el framework LangChain, lo que le permite configurar el archivo de propiedades necesario para la conexión.
• Luego crea un proyecto en Visual Studio Codium, donde colocará el código Java generado por Podman AI Lab, enviando llamadas a la consulta específica sobre Red Hat a los modelos seleccionados.
• Se menciona que PoDman AI Lab también puede generar documentación Swagger, lo que facilita entender cómo funcionan los servicios web rest de los modelos.

Proceso y respuesta de modelos

«Aquí ya tengo la respuesta, nos dice que Red Hat es una multinacional americana que provee software de código abierto.»

• Después de realizar la consulta a los modelos Merlinite, se obtiene una respuesta que define a Red Hat como una compañía que se especializa en software de código abierto para clientes empresariales.
• Se sugiere que se pueden cambiar fácilmente los modelos y realizar consultas similares para obtener variaciones en las respuestas, dependiendo del entrenamiento de los modelos utilizados, y también se puede entrenar nuevos modelos con datos personalizados.