Inferencia de Inteligencia Artificial en el borde (Edge) mediante OpenShift AI

Usando IA en Tiempo Real

• La inteligencia artificial (IA) puede proporcionar a los clientes perspectivas en tiempo real sobre sus datos al implementar modelos más cerca de las fuentes de datos. Esto permite a las empresas ejecutar servicios de IA donde más los necesitan.
• La plataforma OpenShift AI permite a los usuarios implementar estos servicios de manera eficiente y efectiva, siendo capaz de predecir fallos y detectar anomalías con baja latencia y casi en tiempo real.

«La solución comienza con OpenShift AI, donde los modelos pueden ser implementados en el lugar adecuado, como en una línea de producción.»

Colaboración entre Científicos de Datos y Ingenieros de MLOps

• En la implementación de IA en el borde, la colaboración entre científicos de datos y ingenieros de MLOps es fundamental. Los científicos de datos utilizan notebooks de Jupyter para desarrollar modelos precisos que pueden funcionar en entornos de borde.
• Una vez que el modelo ha sido entrenado y guardado, los ingenieros de MLOps se encargan de empaquetar el modelo, sus dependencias y el entorno de ejecución en lo que se denomina una imagen de contenedor de inferencia.

«Los ingenieros de MLOps son responsables de empaquetar el modelo y crear un entorno de inferencia listo para producción.»

Fases del Pipeline de MLOps

• El proceso de despliegue de modelos involucra varias fases. Primero, se obtiene el modelo guardado, seguido de la verificación de archivos y la preparación para la fase de construcción. Después se realizan pruebas de viabilidad en un ambiente de staging.
• Al finalizar las pruebas exitosamente, la imagen del contenedor de inferencia se integra dentro del flujo de trabajo de GitOps, asegurando que todas las versiones del servicio de inferencia sean revisadas antes de su despliegue en producción.

«Una vez que las pruebas son exitosas, la imagen es enviada a un registro de imágenes para revisión interna.»

Despliegue en Entornos de Producción

• Después de que un modelo ha sido integrado y revisado, se despliega en el entorno de producción utilizando Argo CD. Argo CD detecta cambios automáticamente en el repositorio de Git y reconcilia la implementación de acuerdo con la última versión del manifiesto.
• Esto permite una gestión centralizada eficaz en entornos distribuidos y desconectados, manteniendo la visibilidad de la salud y el rendimiento de la aplicación inteligente a través de herramientas como OpenTelemetry y Grafana.

«Con Argo CD, disfrutamos de la capacidad de actualizar nuestro repositorio GitOps y confiar en los clústeres de borde para iniciar la conexión en la próxima ventana de oportunidad.»