Los riesgos inesperados de la IA en las finanzas: Mesa redonda de expertos | Nvidia y Sonatype

Introducción de los Panelistas

«Hoy vamos a hablar de los riesgos inesperados de la inteligencia artificial en las finanzas.»

• Karl Moll introduce a los panelistas, Tyler Warden de Sonatype y Aaron Erickson de NVIDIA. Este webinar se centra en los riesgos invisibles asociados con los sistemas financieros impulsados por inteligencia artificial, así como el papel fundamental que desempeña el hardware en la seguridad de la IA.

Conceptos Erróneos Comunes en la Seguridad de la IA

«Uno de los conceptos erróneos comunes es que los modelos de IA de código abierto están recibiendo menos atención de la que deberían.»

• Tyler Warden señala que hay una gran atención en las herramientas de terceros y productos comerciales, mientras que se pasa por alto el uso e investigación en modelos de IA de código abierto. Desde su perspectiva, la integración de estos modelos en los sistemas puede ser riesgosa y es esencial prestarles más atención, pues estos son cada vez más utilizados en la industria.

Riesgos Ocultos de la IA en Finanzas

«Uno de los riesgos más grandes es pensar que estamos en control de la IA.»

• Aaron Erickson enfatiza la creencia errónea de controlar completamente el uso de la IA. Menciona que, a menudo, los empleados usan cuentas personales para acceder a servicios de IA más eficientes, eludiendo las restricciones corporativas. Esta situación da lugar al uso de herramientas no reguladas y potencialmente dañinas que comprometen la seguridad de las organizaciones.

Inyección de prompts y su evolución

«Hay muchas cosas que puedes hacer con la inyección de prompts que harían parecer casi incompetente a la inyección SQL de hace 10 o 20 años.»

• La inyección de prompts ha revolucionado las técnicas de hacking y ha superado en complejidad a las inyecciones SQL tradicionales. Comprender estas nuevas técnicas es fundamental para los hackers y especialistas en seguridad.
• Es necesario tener un entendimiento profundo de cómo funciona la inyección de prompts, ya que la habilidad para explotar estas vulnerabilidades es crucial en la seguridad cibernética actual.

Proveedores de modelos y su gestión

«Vemos a Hugging Face como el estándar de facto para la cadena de suministro de muchos modelos que se están trabajando internamente.»

• Hugging Face se posiciona como uno de los mayores proveedores de modelos para inteligencia artificial, lo que plantea tanto beneficios como riesgos en la cadena de suministro de software.
• La incorporación de modelos desde proveedores como Hugging Face requiere un análisis cuidadoso, especialmente cuando se gestionan dependencias con componentes de software tradicionales como JavaScript, Python y NPM.

Seguridad en modelos y contenedores

«Necesitamos tener seguridad en contenedores alrededor de cómo funcionan nuestros modelos para evitar inyecciones que podrían romper la seguridad.»

• La seguridad en los contenedores donde se ejecutan los modelos de IA debe ser una prioridad. Esto implica prevenir inyecciones de código malicioso que podrían comprometer la integridad del sistema.
• Se destaca la necesidad de pensar en los modelos de IA como «internos poderosos» que podrían actuar de manera perjudicial si no están adecuadamente controlados dentro de su entorno de ejecución.

Perspectivas regulatorias sobre los riesgos de IA

«La capacidad de explicar por qué un sistema de IA tomó sus decisiones es crítica para abordar los riesgos que presentan.»

• Los reguladores se están enfocando en la explicabilidad de los modelos de IA. Comprender cómo y por qué un modelo toma decisiones es fundamental para cumplir con normativas y mitigar riesgos.
• Los modelos deben ser diseñados de manera que sean capaces de realizar decisiones menores inicialmente, para luego escalar a decisiones más complejas una vez que se haya comprendido su funcionamiento.

La importancia de la trazabilidad en la inteligencia artificial

«La trazabilidad es un tema común que hemos escuchado en la comunidad de FINOS durante los últimos ocho meses.»

• La conversación en el ámbito de la inteligencia artificial (IA) y su aplicabilidad en las finanzas destaca la necesidad de una estructura de gobernanza robusta, especialmente en la trazabilidad de las acciones de los agentes.
• La atención se ha centrado en cómo los diferentes agentes de IA interactúan y se comunican entre sí, lo que plantea retos significativos en términos de rastreabilidad y transparencia.
• A medida que la IA se utiliza en aplicaciones avanzadas, es crítico asegurarse de que cada interacción entre agentes sea comprensible y auditada adecuadamente.

Adaptar los marcos de referencia a las amenazas de IA

«Los marcos como Dora y NIST no abordan adecuadamente las amenazas de IA.»

• A pesar de la existencia de marcos de referencia como Dora y NIST, hay un consenso entre los expertos que estos no han evolucionado lo suficiente para abordar los desafíos presentados por los sistemas de agentes de inteligencia artificial.
• Es fundamental contar con mejoras en las normativas actuales que consideren cómo interactúan los distintos sistemas de IA y la nueva naturaleza de las amenazas que representan, ya que estas pueden ser más sofisticadas que los métodos tradicionales.

Recomendaciones para equipos de cumplimiento en el manejo de IA

«Trata los prompts como si fueran código.»

• Se aconseja que los equipos de cumplimiento adopten un enfoque novedoso al considerar que los prompts utilizados en la IA son similares al código de programación, lo que llevaría a un control más riguroso sobre su uso.
• Comprender que cada interacción de un sistema de IA con datos y usuarios debe ser monitoreada de manera similar a cómo se gestiona el acceso al código fuente puede mejorar la seguridad y la responsabilidad.
• Esta mentalidad puede ayudar a abordar problemas de identidad y control de acceso dentro de los sistemas de inteligencia artificial, creando así un marco más seguro.

La necesidad de familiarizarse con la IA

«Deberías comenzar a usar la IA para entender las limitaciones que tiene.»

• Es esencial que quienes estén en posiciones regulatorias se familiaricen activamente con la inteligencia artificial utilizando las herramientas y tecnologías disponibles, ya que esto les permitirá comprender mejor las potenciales ventajas y riesgos.
• Meticulosamente explorando la IA, los reguladores pueden anticipar y mitigar riesgos antes de que se conviertan en problemas significativos, reconociendo que la adopción de estas tecnologías es inevitable debido a su capacidad para aumentar la productividad.

Importancia de los Fundamentos en la IA

«Los fundamentos no cambian; simplemente te expone más rápido a riesgos que antes no pensabas.»

• En la conversación se destaca que, aunque la incorporación de inteligencia artificial puede alterar la forma en que las organizaciones operan, los principios fundamentales de seguridad y control siguen siendo cruciales.
• Las empresas deben ser conscientes de que al utilizar sistemas avanzados de IA, la velocidad de exposición a problemas de seguridad se incrementa. Por lo tanto, es vital tener tiempos de reacción más ágiles para abordar cualquier vulnerabilidad que surja.

El Papel de la IA en Acelerar Tiempos de Reacción

«La IA puede desempeñar un papel crucial en acelerar la reacción ante amenazas.»

• Se debate si la inteligencia artificial debería estar involucrada en la gestión de riesgos, sugiriendo que puede efectivamente ayudar a detectar y reaccionar más rápidamente a incidentes de seguridad.
• Los participantes enfatizan que tanto los delincuentes como los defensores pueden utilizar IA, y donde hay un riesgo, también hay un beneficio que podría mitigarse mediante una respuesta más rápida y adaptativa.

Construcción de Seguridad en Pipelines de IA

«Es fundamental que la selección del modelo y la tecnología utilizada en IA se realice correctamente desde el principio.»

• Se recomienda utilizar guías reconocidas como las de OAS para establecer prácticas de seguridad en pipelines de IA. En particular, se debe evaluar y seleccionar cuidadosamente las herramientas y modelos utilizados.
• Las organizaciones deben reconocer que los modelos de IA (especialmente los modelos de lenguaje grande) son software que puede comportarse de manera no determinista, lo que significa que se requieren salvaguardias específicas para garantizar su fiabilidad y seguridad.

Colaboración Operativa para la Seguridad en IA

«La colaboración entre equipos de seguridad e ingeniería debe mejorar, no cambiar.»

• Los expertos discuten que la colaboración entre los equipos de seguridad y ingeniería es fundamental para abordar los nuevos riesgos emergentes asociados con la IA.
• Se sugiere una mejora en la comunicación y el trabajo conjunto de estos equipos para resolver problemas de seguridad más rápido y con un enfoque más iterativo. Al considerar que la IA puede generar software efímero, es importante que las estrategias de seguridad se adapten a esta nueva realidad.

Lecciones de la seguridad de la cadena de suministro y su aplicación a la inteligencia artificial

«Una de las lecciones de la seguridad de la cadena de suministro es elegir proveedores mejores y más selectivos.»

• Una de las lecciones clave de la seguridad de la cadena de suministro es la importancia de seleccionar un número reducido de proveedores de alta calidad. Aplicando este principio, se debe elegir un menor número de componentes y modelos de código abierto confiables en el ámbito de la inteligencia artificial (IA).
• La comunidad de ingeniería de software ha invertido mucho en ayudar a tomar decisiones informadas sobre qué componentes utilizar. Sin embargo, es vital recordar que si el código se crea de manera efímera, puede no ser suficiente confiar solo en el código de primera parte.
• Para garantizar la seguridad y fiabilidad, es esencial limitar el uso de componentes a aquellos que sean aprobados o de confianza; es decir, establecer listas de permitidos y restringir la creación de código que no sea necesario.

La dinámica cambiante en el uso de la IA

«Hemos pasado de un mundo donde el entrenador llama todas las jugadas a uno donde el base puede llamar las jugadas.»

• Hoy en día, los sistemas de IA permiten a los usuarios más autonomía en la toma de decisiones. Esto implica que responsabilidades y riesgos se distribuyen de manera diferente, ya que los usuarios pueden actuar como «jugadores» en lugar de esperar instrucciones de un líder central.
• Sin embargo, este cambio también viene con desafíos. Un jugador inexperto podría tomar decisiones arriesgadas o inapropiadas, lo que puede afectar el resultado final de un proyecto, similar a lo que ocurre en un equipo deportivo.
• Es fundamental conocer los «tendencias» y comportamientos de los modelos de IA, para canalizar su energía creativa de manera constructiva y evitar resultados destructivos.

Importancia del diseño centrado en el usuario en sistemas de IA

«Si la experiencia del usuario es mala, las personas recurrirán a aplicaciones no-compliantes.»

• La arquitectura y el diseño centrado en el usuario son cruciales en la construcción de sistemas de IA que sean accesibles y cumplan con las normativas. Si la experiencia del usuario no es óptima, es probable que busquen alternativas fuera del ecosistema permitido.
• Se necesita un enfoque que trascienda el diseño básico de interfaces. Es necesario integrar la IA de manera que las interacciones entre los usuarios y los sistemas sean claras y no engañosas, destacando qué partes de la información provienen de humanos y cuáles de la IA.
• La rendición de cuentas humana en el proceso de desarrollo de software es indispensable. Aunque se utilicen herramientas asistidas por IA, los desarrolladores deben seguir siendo responsables de las decisiones y código que producen.

Preguntas y respuestas rápidas sobre la seguridad de la IA

«¿Hay un espacio para revisar todas o la mayoría de las vulnerabilidades confirmadas y los problemas de seguridad con los modelos expuestos por Hugging Face u otros orquestadores?»

• Se mencionan algunas Vulnerabilidades Comunes Expuestas (CVE) y se destaca que existen recursos, como el Open Web Application Security Project (OWASP), donde se puede encontrar información sobre vulnerabilidades en IA.
• Hugging Face tiene información en su sitio web, y se está observando un flujo constante de nuevos tipos de vulnerabilidades y cuestiones de seguridad a medida que la industria evoluciona. Esto incluye la creación de nuevas clasificaciones de vulnerabilidades por parte de grupos como OpenSSF y FINOS.

Vulnerabilidades en modelos de IA

«Tratar de encerrar software no determinista en un esquema determinista es un tema complicado.»

• A medida que las tecnologías de IA evolucionan, los expertos deben reconsiderar cómo se conceptualizan y abordan las vulnerabilidades, especialmente cuando se trata de software no determinista.
• La automatización de procesos mediante IA puede involucrar interacciones complejas entre diversos modelos de lenguaje, lo que lleva a preguntarse cómo se pueden controlar estas interacciones para mitigar riesgos de seguridad.

Estrategias de seguridad en IA

«Una revisión de preguntas antes de preguntar no es mala, pero no es perfecta.»

• La implementación de sistemas de supervisión, como el uso de «scrubbers» de prompts, que revisan las entradas antes de ser procesadas, puede ayudar a reducir la manipulación maliciosa. Sin embargo, el enfoque más eficaz es proteger y monitorear los datos a los que tiene acceso la IA.
• La protección de datos es esencial y puede asegurar el uso seguro de la IA más que solo dependender de una revisión previa de las solicitudes.

Reflexiones finales y recomendaciones

«Declara una amnistía para el uso de IA y pregúntale a la gente qué herramientas están usando.»

• Es fundamental tener conversaciones abiertas con los usuarios sobre las tecnologías de IA que ya están utilizando, a fin de integrar y regular su uso de manera efectiva dentro de la organización.
• La transparencia en las prácticas de desarrollo de software, así como en el uso de modelos de IA en las instituciones financieras, es clave para mejorar la seguridad y responder a riesgos emergentes.

Colaboración en el futuro

«Tomé muchas notas de lo que estabas diciendo y estoy deseando cómo podemos trabajar juntos en estos temas en adelante.»

• Es importante mantener una comunicación abierta y receptiva para abordar los problemas mencionados. Las notas tomadas reflejan un interés genuino en colaborar de manera efectiva.
• A medida que avanzamos, se espera un esfuerzo conjunto para resolver las cuestiones que fueron discutidas, lo que sugiere un enfoque proactivo y colaborativo en el trabajo en equipo.

Agradecimiento y cierre

«Gracias a todos. Gracias, chicos.»

• Este aprecio hacia los participantes crea un ambiente positivo y motivador, alentando a todos a continuar contribuyendo.
• Reconocer la participación de los demás es fundamental para fortalecer las relaciones y promover una cultura de colaboración en cualquier iniciativa.