Ramalama: ejecutando modelos de IA como si fueran contenedores

La inteligencia artificial generativa está evolucionando rápidamente, pero uno de los mayores desafíos sigue siendo la distribución y ejecución de modelos de manera sencilla, segura y consistente. Mientras herramientas como Ollama han facilitado el uso de modelos LLM en equipos locales, ha surgido una alternativa muy interesante impulsada por Red Hat: Ramalama.

En este artículo conoceremos qué es Ramalama, cómo funciona y por qué podría convertirse en una herramienta clave para quienes ya trabajan con contenedores, Podman y OpenShift.

¿Qué es Ramalama?

Ramalama es un proyecto de código abierto que permite ejecutar modelos de inteligencia artificial utilizando el mismo paradigma con el que hoy ejecutamos contenedores.

En lugar de descargar manualmente modelos desde diferentes repositorios, gestionar formatos de archivos o configurar motores de inferencia, Ramalama permite ejecutar un modelo con un comando muy similar al que utilizamos con Podman.

Por ejemplo:

ramalama run granite

o indicando directamente el origen del modelo:

ramalama run huggingface://ibm-granite/granite-3.3-8b-instruct

Si el modelo no existe localmente, Ramalama lo descargará automáticamente y lo dejará listo para ser utilizado.

La filosofía detrás de Ramalama

Desde hace años estamos acostumbrados a trabajar con imágenes OCI para distribuir aplicaciones.

Con un simple comando:

podman run nginx

Podman descarga la imagen, crea el contenedor y ejecuta la aplicación.

Ramalama busca exactamente la misma experiencia, pero aplicada a modelos de inteligencia artificial.

En otras palabras:

• el modelo se distribuye como una imagen OCI;
• puede almacenarse en un registro OCI;
• puede firmarse digitalmente;
• puede versionarse;
• puede reutilizar toda la infraestructura que hoy ya utilizan los equipos de DevOps.

Esto representa un cambio importante en la forma en que las organizaciones administran sus modelos de IA.

¿Por qué utilizar imágenes OCI para modelos?

Cada vez más empresas necesitan controlar el ciclo de vida de sus modelos de IA.

Al utilizar imágenes OCI obtenemos ventajas como:

• Versionamiento de modelos.
• Distribución mediante registros privados.
• Integración con pipelines CI/CD.
• Verificación mediante firmas digitales.
• Control de acceso utilizando la infraestructura existente.
• Reutilización de herramientas como Podman, Skopeo, Buildah y Quay.

En lugar de crear un mecanismo diferente para administrar modelos, Ramalama aprovecha estándares ampliamente adoptados por la industria.

Compatibilidad con distintos modelos

Ramalama puede trabajar con numerosos modelos de lenguaje, entre ellos:

• IBM Granite
• Llama
• Mistral
• Gemma
• DeepSeek
• Otros modelos compatibles publicados en registros OCI o repositorios soportados.

Esto facilita experimentar con diferentes modelos sin cambiar significativamente la forma de ejecutarlos.

Integración con GPU

Una de las ventajas de Ramalama es que puede aprovechar la aceleración por GPU cuando el hardware está disponible.

Dependiendo del entorno, puede utilizar:

• CPU
• GPU NVIDIA
• GPU AMD

Esto permite ejecutar desde modelos pequeños para desarrollo hasta modelos más grandes en estaciones de trabajo o servidores especializados.

Ramalama y el ecosistema de Red Hat

Para quienes trabajan con tecnologías Red Hat, Ramalama encaja de forma natural dentro del ecosistema.

Se integra especialmente bien con herramientas como:

• Podman
• RHEL
• OpenShift
• OpenShift AI
• Quay
• Buildah
• Skopeo

Gracias a ello, una organización puede gestionar modelos de IA utilizando procesos muy similares a los que ya emplea para distribuir aplicaciones en contenedores.

Ramalama vs Ollama

Una pregunta frecuente es si Ramalama reemplaza a Ollama.

La respuesta es que ambos buscan simplificar la ejecución de modelos, pero están orientados a escenarios diferentes.

Si tu organización ya utiliza contenedores y plataformas como OpenShift, Ramalama resulta especialmente atractivo.

¿Y dónde queda vLLM?

Es importante no confundir estas herramientas.

vLLM no es un competidor directo de Ramalama, sino un motor de inferencia de alto rendimiento.

Mientras Ramalama facilita la distribución y ejecución de modelos, vLLM está diseñado para obtener el máximo rendimiento en producción, ofreciendo características como:

• alta concurrencia;
• mejor utilización de memoria;
• mayor velocidad de generación de tokens;
• soporte para grandes cargas de trabajo.

En muchos escenarios ambas herramientas pueden complementarse.

Casos de uso

Ramalama puede ser útil para:

• laboratorios de inteligencia artificial;
• pruebas locales de modelos LLM;
• distribución interna de modelos empresariales;
• entornos de desarrollo;
• integración con pipelines DevSecOps;
• organizaciones que ya administran registros OCI.