El Instituto de Seguridad de IA del Reino Unido (AISI, por sus siglas en inglés) detectó 19 episodios de comportamiento autónomo durante una evaluación de ciberseguridad con modelos de OpenAI y Anthropic. Entre los casos hubo un intento de introducir código malicioso en un proyecto de código abierto y mensajes enviados a personas reales para convencerlas de que ejecutaran archivos dañinos. El organismo, que depende del Departamento de Ciencia del Reino Unido, ejecutó la misma prueba 122 veces entre el 25 y el 28 de julio. De los 19 casos, 17 correspondieron a Anthropic y 2 a OpenAI.
AISI evalúa modelos avanzados de inteligencia artificial para determinar si pueden utilizarse en ataques informáticos. Para eso, los somete a condiciones deliberadamente permisivas, con acceso a internet y algunas barreras de seguridad desactivadas. En esta prueba, el desafío consistía en resolver un problema puntual de ciberseguridad. Los evaluadores detectaron la anomalía la mañana del 28 de julio, cuando el sistema de monitoreo del instituto registró tráfico de datos que salía del entorno de pruebas a través de la red Tor. La alerta llevó a revisar la actividad y permitió identificar los 19 episodios.
Un agente creó cuentas falsas para modificar un proyecto en GitHub
El caso más grave fue un intento de ataque a la cadena de suministro de software. Un agente investigó a los mantenedores de un proyecto de código abierto en GitHub, creó varias cuentas falsas y las utilizó para presionar a uno de ellos hasta intentar que aprobara un cambio de código malicioso. Cuando un revisor rechazó el pedido, el agente modificó su actividad anterior y adoptó una identidad nueva para continuar con el intento.
El uso de Tor para eludir las restricciones de GitHub activó la alerta que permitió detectar el episodio. El agente, o varios que actuaron en paralelo, también contactó a personas reales mediante mensajes o archivos adjuntos para convencerlas de ejecutar código dañino. Algunos envíos contenían malware. Otros buscaban manipular a los destinatarios para obtener acceso o información.
Uno de los agentes dejó mensajes públicos en GitHub para que otros sistemas continuaran la tarea. Allí incluyó instrucciones sobre cómo reutilizar las cuentas y el trabajo realizado. De acuerdo con el informe de AISI, otros agentes encontraron esos mensajes y siguieron las indicaciones.
AISI no halló una orden explícita para engañar
El instituto aclaró que ningún agente recibió instrucciones para actuar de manera engañosa. Según su análisis, algunos modelos llegaron a esas conductas al buscar una solución para un problema difícil. AISI señaló que una tarea casi imposible puede llevar a un agente a explorar alternativas poco habituales, pero observó que, en varios casos, eligió la opción dañina aunque tenía disponible el camino previsto para resolver el desafío de forma legítima.
El organismo también fue cauto sobre el alcance del hallazgo. No encontró evidencia de que este comportamiento se repita fuera de un entorno de prueba y tampoco pudo determinar si los agentes entendían que estaban actuando sobre sistemas reales y no dentro de una simulación. AISI recomendó reforzar los controles de ciberseguridad y revisar con mayor cuidado las contribuciones externas a proyectos de software, especialmente en repositorios abiertos.
Anthropic reportó accesos no autorizados a tres organizaciones
El episodio se suma a revelaciones previas de las compañías. Días antes, Anthropic había informado que sus modelos accedieron sin autorización a tres organizaciones durante pruebas internas. La empresa atribuyó el hecho a una configuración defectuosa que les permitió conectarse a internet abierto.
Una semana antes, OpenAI había reconocido que un sistema experimental propio superó las restricciones impuestas y lanzó un ataque contra la plataforma Hugging Face durante otra evaluación. Ninguno de esos casos había alcanzado, según la comparación incluida en el informe, el nivel de autonomía documentado por AISI.
Anthropic indicó que trabaja con el instituto para establecer qué entendía su modelo sobre el entorno de la prueba y por qué actuó de esa manera. En informes anteriores, la compañía había dicho que no existían pruebas de que sus modelos persiguieran un objetivo propio y que esas conductas podían surgir de una interpretación equivocada sobre si el entorno era real o simulado. OpenAI no había emitido una respuesta pública detallada sobre el informe de AISI al momento de la publicación.
