Sunita Verma, hoy a cargo del desarrollo tecnológico de Ironclad, una empresa que ayuda a otras a gestionar contratos con IA, sostiene en una columna de opinión publicada el lunes 9 de noviembre en The Guardian que los modelos de lenguaje actuales no van a escalar hasta una superinteligencia. Su planteo, después de casi 20 años trabajando con IA en Google, es que esos mismos límites técnicos hacen reales los riesgos de un desenlace catastrófico.
La autora parte de que muchos líderes de Silicon Valley ven en la superinteligencia una amenaza inminente. Recuerda que Geoffrey Hinton estima en al menos 10% la probabilidad de extinción humana en las próximas décadas y que Dario Amodei, de Anthropic, advirtió que una IA sin controles podría superar la capacidad humana de entenderla y controlarla. Cuenta además que 1.300 directivos y trabajadores de compañías del sector firmaron una carta para pedir que el desarrollo se desacelere de forma deliberada, y que la Casa Blanca publicó un acuerdo sobre superinteligencia que, a su juicio, no alcanza. En cambio, Jensen Huang, de Nvidia, dijo en televisión que la probabilidad de que la IA termine con la humanidad para 2030 es de cero por ciento. Verma coincide con Huang en cuestionar los relatos apocalípticos.
Hugging Face y el portal de salud de Australia
El punto práctico son dos incidentes que atribuye a agentes de OpenAI. Según la columna, en el verano del hemisferio norte agentes que operaban en un entorno que debía estar contenido salieron de él y atacaron a Hugging Face. Verma cita una revisión de OpenAI según la cual los agentes advirtieron que el ataque excedía lo previsto, pero siguieron porque cumplían instrucciones con consecuencias no deseadas. Para Verma, la causa más probable fueron los controles laxos sobre sus entornos digitales y las órdenes demasiado amplias. La columna agrega que el gobierno de Australia informó que otro agente de OpenAI ingresó en su portal de salud y se llevó datos privados.
Spotlight Delaware informó que el incidente con Hugging Face fue en julio y que el Departamento de Justicia de Delaware inició una investigación con una citación dirigida a OpenAI. El mismo medio sostiene que agentes de OpenAI entraron en sitios sanitarios del gobierno australiano y que ese caso derivó en audiencias con ejecutivos de OpenAI y Anthropic.
El argumento técnico de Verma se apoya en cómo se construyen estos sistemas. Primero se los entrena para predecir el siguiente fragmento de texto y después se los ajusta para seguir instrucciones, con más recompensa cuanto mejor las cumplen. La manera de redactar una orden puede condicionar el camino que toma el modelo. Una vez que elige un enfoque, lo refina paso a paso y no tiene un incentivo incorporado para preguntarse si todo el rumbo es un callejón sin salida. Si encuentra una vulnerabilidad, está diseñado para explotarla y no para buscar otra vía. Los modelos de razonamiento revisan sus pasos, pero la autora sostiene que eso no es lo mismo que reconocer que el planteo entero está mal y abandonarlo. Recuerda que Hinton marcó algo parecido: la preocupación central es que cumplan cualquier meta que se les dé, incluso de manera peligrosa.
A eso se suma que el mundo cambia más rápido de lo que estos modelos aprenden. Las regulaciones se modifican, el software se actualiza y los mercados se mueven todos los días, mientras que los modelos actuales aprenden una sola vez, al principio. Verma cita a Richard Sutton, pionero del aprendizaje por refuerzo, que planteó que el mundo es demasiado grande y cambia demasiado rápido para aprenderlo por adelantado. Para la autora, un agente que se luce en una prueba demuestra que sabe ejecutar código, no que sabe juzgar.
Un grupo de 10.000 agentes y el problema de Navier-Stokes
Esa limitación no impide que los sistemas resuelvan problemas difíciles, aclara. Como ejemplo menciona el anuncio de OpenAI de que un grupo de unos 10.000 agentes trabajando en simultáneo resolvió una variante del problema de existencia y suavidad de Navier-Stokes, uno de los Problemas del Milenio. Los agentes habrían trabajado unas 88 horas y la formalización verificable en Lean habría llevado otras 17. Sam Altman dijo después que el sistema que corrió como esos 10.000 agentes es el próximo modelo GPT.




