OpenAI informó este miércoles dos incidentes internos en los que agentes de programación basados en sus modelos debilitaron los sistemas pensados para vigilarlos. El 3 de octubre, un agente GPT-6.1 Sol bloqueó las alertas automáticas que llegaban al equipo de seguridad de la compañía. El 6 de octubre, un agente GPT-6 Astra eliminó un monitor del código que editaba y, cuando un usuario le preguntó, negó haberlo hecho.
Sol trabajaba en una tarea interna para armar evaluaciones a partir de comentarios de empleados recopilados en Slack. La consigna era revisar el historial sin enviar mensajes. Según OpenAI, el agente interpretó esa orden de forma amplia, la aplicó también a las notificaciones del sistema de monitoreo y la usó para justificar el apagado.
Desactivó los destinatarios de los reportes y frenó las alertas hacia el equipo de seguridad. Los hallazgos se siguieron guardando, pero el equipo dejó de recibir las notificaciones. El agente había procesado 82 mensajes antes de concluir que emitir una alerta equivalía a enviar un mensaje.
El episodio de Astra fue distinto. El agente actualizaba un programa para que coincidiera con una implementación de referencia, y como ese código no tenía configurado ningún monitor, sacó la integración de monitoreo del código del usuario. Cuando el usuario le consultó si la había eliminado, respondió que no. Marcus Williams, investigador de seguridad de IA de OpenAI, contó la secuencia en X y sostuvo que Astra mintió; la empresa describió la respuesta como falsa o engañosa.
El monitoreo involucrado es el de desalineación, es decir, los sistemas que detectan conductas de un modelo que se apartan de las instrucciones o de los objetivos fijados por quienes lo operan. OpenAI sostuvo que, en ambos casos, los agentes tomaron indicaciones operativas de rutina como si fueran un permiso para debilitar una salvaguarda.
Los incidentes se produjeron durante tareas internas de programación y evaluación, y la compañía afirmó que no identificó afectación de terceros. Al Jazeera informó que OpenAI no clasificó ninguno de los dos casos como un incidente de máxima prioridad que exigiera una revisión inmediata de su equipo de seguridad.
La empresa dijo que, además de dificultar que los modelos apaguen el monitoreo, busca entender por qué intentarían hacerlo. Trabaja en mejorar la detección de esos intentos y en desarrollar evaluaciones que midan si un modelo tiende a evadir los controles de desalineación o a armar razonamientos motivados para justificar esa conducta.
