Red Hat OpenShift AI: Predictive and Generative AI Demo

Demostración de OpenShift AI en el Proceso de Reclamos

«Vamos a mostrar cómo una empresa de seguros puede mejorar su proceso de reclamos usando OpenShift AI.»

• En esta demostración, se presenta un escenario hipotético de una compañía de seguros que busca optimizar su proceso de gestión de reclamos. Se utiliza un modelo de lenguaje (LLM, por sus siglas en inglés) para resumir correos electrónicos que contienen información sobre los reclamos, extrayendo datos fundamentales como la fecha, el vehículo y la ubicación.
• También se analiza el sentimiento de los correos electrónicos, lo que permite determinar si un cliente está frustrado o si se está comunicando de manera cortés, información que podría influir en cómo se procesan y ordenan los reclamos.
• Se exploran dos tipos de inteligencia artificial: la generativa, que se aplica al procesamiento de texto, y la aditiva, que se utiliza para evaluar imágenes enviadas como parte del proceso del reclamo, determinando la severidad del daño en los vehículos.

Creación del Proyecto y Panel de Herramientas

«Ahora tenemos el panel del proyecto en el que se pueden utilizar diversas herramientas para el desarrollo.»

• Se inicia la creación de un nuevo proyecto llamado «usuario nueve». Dentro del panel del proyecto, se tienen disponibles varias herramientas y servicios, incluyendo «workbenches» para experimentación y entrenamiento de modelos.
• Existe almacenamiento en clúster local y conexiones de datos para integrar fuentes externas, como buckets de S3. Además, los usuarios pueden gestionar pipelines para procesos de CI/CD o de operaciones de IA y ML, así como alojar y servir modelos desde este panel.

Uso de Workbench para Entrenamiento de Modelos

«Abramos el entorno de trabajo y carguemos nuestro cuaderno.»

• Después de establecer las conexiones de datos compatibles con el entorno de trabajo, se crea un «workbench» titulado «laboratorio de procesamiento de reclamos de seguros». Esto permite a los desarrolladores y científicos de datos personalizar sus imágenes base e instalar paquetes según sus necesidades específicas.
• Se puede asignar un GPU al «workbench», aunque para esta demostración no se usa. Se refuerza la importancia de manejar adecuadamente las variables de entorno y el almacenamiento en el clúster.

Entrenamiento y Colaboración en el Modelado

«Los científicos de datos pueden experimentar y compartir resultados en un solo lugar.»

• Horas antes de empezar los ejercicios en el cuaderno, se rentaría un módulo de lenguaje llamado «mistal 7B», que es de tamaño moderado, pero muy potente. Este «workbench» permite tener en un solo lugar anotaciones, el código y los resultados del modelado.
• La herramienta es especialmente útil para la experimentación y la presentación de modelos a diferentes interesados, ya que permite colaborar y visualizar resultados en un formato estructurado.

Comparativa de Modelos de Lenguaje y Extracción de Datos

«Hay que ser cuidadoso al elegir un modelo para un caso de uso particular.»

• Tras demostrar el uso del modelo «mistal 7B», se presenta una comparación con el modelo «flan T5», que es más pequeño y experimental. La elección del modelo apropiado depende de un balance entre la calidad y los requisitos del sistema para manejar el modelo, incluyendo memoria, CPU y almacenamiento.
• Se utilizan ejemplos de correos electrónicos de reclamos para extraer y resumir información crítica, analizando aspectos como la localización, el tiempo y el sentimiento de los correos, destacando la eficacia de los LLM en reducir considerablemente la longitud de los correos originales.

Visualización del modelo y creación de cajas de límites

«Agreguemos algunas pistas visuales para ver lo que el modelo está detectando.»

• Se comienza con la creación de cajas de límites alrededor de los vehículos que han sido detectados por el modelo. Estas cajas son fundamentales para ayudar a visualizar las áreas en las que el modelo está prestando atención.
• A medida que se configura, el sistema calcula el tamaño y la posición de las cajas de límites en función de la información proporcionada por el modelo.
• El modelo ha sido entrenado para identificar distintos tipos de objetos. Por ejemplo, reconoce automóviles, camiones, bicicletas, así como objetos menos comunes como tazas y tablas de surf.

Análisis de la precisión del modelo

«La precisión brindada indica cuán seguro está el modelo sobre la identificación del objeto.»

• Se presenta un ejemplo visual donde se crea una caja de límites alrededor de un automóvil identificado. El modelo informa que tiene un 91% de certeza de que lo que ve es un coche.
• Al examinar una imagen con múltiples vehículos, se observa una variedad de errores en las detecciones. Las tasas de confianza para los distintos vehículos oscilan entre el alto 80% y, en algunos casos, tan bajo como el 30%.
• Este nivel de precisión es esperado ya que se trata de un modelo «vanilla» que no ha sido entrenado con imágenes específicas del contexto que se está evaluando.

Proceso de reentrenamiento del modelo

«Al proporcionar un conjunto de datos de accidentes debidamente etiquetados, podemos mejorar el modelo.»

• El siguiente paso es introducir datos de accidentes que han sido etiquetados con diferentes niveles de severidad. Esto permitirá que el modelo aprenda a clasificar imágenes de accidentes futuros.
• Comienza el proceso de reentrenamiento del modelo con nuevas imágenes y datos. Se le da tiempo para que complete algunas iteraciones necesarias durante este proceso.
• Una vez que termina el reentrenamiento, se procede a probar el nuevo modelo.

Evaluación de imagen de accidente

«El nuevo modelo ha evaluado el accidente y ha clasificado su severidad con una precisión del 86%.»

• Se analiza una imagen de un accidente utilizando el modelo recién creado. El modelo establece que este accidente es severo y proporciona un nivel de precisión del 86%.
• Este proceso demuestra lo que es posible lograr en la fase de experimentación y entrenamiento dentro de un proceso de MLOps con OpenShift AI.
• Finalmente, se menciona que el modelo se puede alojar en OpenShift y hacer disponible su inferencia para diversas aplicaciones, tanto internas como externas a OpenShift.