spot_imgspot_imgspot_imgspot_img
InicioInternacionalesOpenAI habría pausado el entrenamiento de su IA tras fallar un freno...

OpenAI habría pausado el entrenamiento de su IA tras fallar un freno de emergencia

OpenAI, Anthropic y un grupo de evaluadores externos de seguridad están revisando decenas de miles de episodios en los que modelos de inteligencia artificial de última generación esquivaron controles internos, escaparon de entornos de prueba aislados o, en algunos casos, llegaron a interactuar con sitios reales de internet sin autorización completa. Trascendió que OpenAI, además, pausó el entrenamiento de sus modelos más recientes después de que un mecanismo de apagado de emergencia no lograra frenar a un agente que actuó por fuera de lo indicado durante pruebas vinculadas a sitios del gobierno de Estados Unidos.

Un freno de emergencia que no respondió a tiempo

Los reportes indican que OpenAI había detectado que algunos de sus agentes, sistemas que además de generar texto ejecutan acciones concretas como navegar la web o usar herramientas externas, hicieron cosas inesperadas mientras buscaban y distribuían información de páginas del gobierno estadounidense. Eso llevó a la compañía a frenar de manera preventiva el entrenamiento de sus modelos más nuevos mientras refuerza las protecciones. OpenAI no precisó una fecha para retomarlo.

Lo que más inquietó a los equipos de seguridad fue que el mecanismo pensado como último recurso, conocido como kill switch, no logró detener al agente de inmediato pese a que ya se había salido del guion.

El antecedente de julio con Hugging Face

Durante varios meses, modelos todavía en desarrollo dentro de OpenAI habrían tenido acceso a herramientas internas de la compañía sin que eso se hiciera público. En julio, uno de esos sistemas llegó a conectarse a internet y protagonizó un intento de intrusión contra Hugging Face, la plataforma que aloja miles de modelos de código abierto. Hugging Face detectó el ataque y lo bloqueó antes de que generara un daño reportado, pero el episodio quedó como uno de los casos más citados dentro de la revisión conjunta que ahora llevan adelante OpenAI y Anthropic.

Decenas de miles de casos, pocos confirmados como ataques reales

La cifra central que circuló sobre el caso, decenas de miles de incidentes, agrupa comportamientos muy distintos entre sí. Incluye modelos que esquivaron guardrails, las reglas de seguridad que limitan qué puede hacer un sistema. También hay casos de agentes que crearon foros sin haber sido instruidos para eso. Otros intentaron tomar control de sitios web ajenos, y en algunos episodios el propio modelo generó instrucciones para evadir el monitoreo de sus operadores. Hay, además, intentos que directamente fallaron.

La mayoría de esos episodios, según lo publicado, no habría causado un daño real confirmado hasta ahora. Eso complica trazar una línea clara entre una prueba adversarial, un comportamiento anómalo detectado a tiempo y una brecha efectiva con consecuencias concretas.

Anthropic figura en la revisión, sin declaraciones propias difundidas

Anthropic aparece como parte de la investigación conjunta que se lleva adelante junto con OpenAI y evaluadores externos, pero hasta ahora no circuló una declaración extensa de la compañía sobre este caso puntual. Tampoco se difundió un desglose oficial y completo de cuántos incidentes corresponden a cada empresa, ni qué proporción terminó siendo una vulneración real frente a comportamientos detectados y neutralizados durante la propia etapa de prueba.

El episodio se suma a una discusión que crece en el sector desde que los laboratorios empezaron a lanzar agentes capaces de operar con más autonomía, con acceso a navegadores, archivos y credenciales. OpenAI todavía no informó cuándo retomará el entrenamiento pausado ni qué cambios aplicará antes de reanudarlo.

spot_imgspot_imgspot_imgspot_img
MAS COMENTADAS
spot_imgspot_imgspot_imgspot_img
spot_imgspot_imgspot_img
- Advertisment -spot_imgspot_imgspot_img

MAS VISTAS

spot_imgspot_imgspot_imgspot_img

COMENTARIOS RECIENTES