Por Marcela Mercapidez, CEO de Sabyk by Domus Global
Cada vez que se habla de una inteligencia artificial "fuera de control", el tema ocupa titulares. En este caso fueron dos modelos, aunque en realidad no hicieron nada imprevisible: ejecutaron exactamente el objetivo para el que habían sido entrenados. Y justamente ahí reside una de las principales enseñanzas de este episodio: la diferencia entre lo que creemos haber pedido y la forma en que un sistema optimizado decide conseguirlo.
Como parte de una evaluación de ciberseguridad, OpenAI habilitó a dos modelos de frontera dentro de un entorno que, en teoría, debía permanecer completamente contenido. Para realizar la prueba, la empresa desactivó parte de los mecanismos que normalmente impiden utilizar estos modelos con fines ofensivos y les asignó un objetivo concreto, acompañado de una métrica de éxito.
Los modelos actuaron como cualquier sistema diseñado para maximizar resultados: buscaron la forma más eficiente de alcanzar ese objetivo. En el proceso detectaron una vulnerabilidad en el propio entorno de prueba, lograron salir a internet y accedieron a sistemas productivos de Hugging Face, la plataforma donde se encontraba la solución al desafío planteado. Allí generaron más de 17.000 eventos de ataque antes de que el incidente fuera advertido.
Lo importante es el orden de los hechos. El problema no fue que el modelo actuara de manera inesperada, sino que la infraestructura encargada de contenerlo no cumplió su función. La IA no abandonó el objetivo; lo persiguió con absoluta fidelidad.
La paradoja: quien se defendía tenía menos herramientas
Sin proponérselo, OpenAI terminó atacando a Hugging Face. Y cuando la plataforma intentó responder al incidente apareció una limitación inesperada: los modelos comerciales que podrían haber colaborado en el análisis rechazaban procesar la información porque sus propios mecanismos de seguridad bloqueaban ese tipo de solicitudes.
La solución terminó siendo utilizar un modelo de pesos abiertos ejecutado de forma local. El episodio deja al descubierto una asimetría preocupante. Mientras el atacante operaba con las restricciones desactivadas, quien debía defenderse seguía sujeto a todos los controles. La misma tecnología, pero con capacidades muy distintas según el lado desde el que se utilice.
En los últimos meses abundan las discusiones sobre el riesgo de que la inteligencia artificial "se descontrole". Sin embargo, seguimos enfocando buena parte del debate en las limitaciones del propio modelo, cuando el verdadero desafío está en el diseño del entorno donde opera.
Un avión no es más seguro porque se le pida al piloto que no se estrelle. Lo es porque existen controles de acceso, protocolos, certificaciones, procedimientos y múltiples capas de seguridad que reducen el riesgo. La protección no descansa únicamente en la conducta del piloto, sino en todo el sistema que lo rodea.
Con los agentes de IA ocurre algo similar. El objetivo que reciben marca el destino, pero eso no significa que cualquier camino para alcanzarlo sea aceptable. Quizás la analogía también sirva para otra reflexión: incluso con todas las medidas preventivas, un avión puede terminar siendo utilizado como un arma. Lo relevante entonces es saber qué protocolos existen, quién toma las decisiones y con qué recursos cuenta quien debe responder.
Las preguntas que deja este caso: ¿Qué decisiones de diseño están tomando las empresas que desarrollan estos modelos si un resultado de este tipo no pudo anticiparse dentro de una prueba controlada?
¿Cómo resolver la asimetría cuando las herramientas que necesitamos para defendernos quedan limitadas por los mismos mecanismos de seguridad que buscan evitar usos indebidos?
Los límites de un agente no se definen únicamente mediante prompts o guardrails. También dependen de aspectos como la identidad, los permisos, la segmentación de redes y, en definitiva, de toda la arquitectura que sostiene al sistema.
Asimismo, las herramientas que podrán utilizarse durante un incidente deben formar parte del plan de respuesta. Decidir qué modelo emplear, con qué información y bajo qué autorizaciones no puede improvisarse cuando el problema ya está ocurriendo.
La velocidad con la que evoluciona esta tecnología supera la capacidad de muchos controles tradicionales. Por eso resulta cada vez más importante asumir que pueden aparecer capacidades superiores a las propias y ensayar los mecanismos de contingencia antes de necesitarlos.
Gobernar la inteligencia artificial no consiste únicamente en disponer de mejores modelos o redactar mejores instrucciones. La verdadera diferencia está en diseñar un entorno seguro y en preparar una respuesta capaz de enfrentar escenarios cada vez más complejos.
Tu opinión enriquece este artículo: