El CEO de Anthropic, Dario Amodei, publicó el 12 de septiembre un ensayo donde pide desacelerar el desarrollo de los modelos de inteligencia artificial más avanzados y anunció que la compañía ya le dio acceso permanente, a nivel de empleado, a evaluadores externos como METR para revisar sus prácticas de seguridad. Amodei llama a esta idea ‘pacing the frontier’ (marcar el ritmo de la frontera) y aclara que no se trata de frenar el entrenamiento de nuevos modelos, sino de bajar la velocidad a la que crecen sus capacidades para que la seguridad y los organismos reguladores puedan seguirle el paso.
Anthropic ya da acceso permanente a evaluadores externos
La propuesta tiene tres etapas y la primera ya está en marcha, según Amodei. Consiste en dar acceso a auditores externos, entre ellos METR, una organización dedicada a evaluar riesgos de sistemas de IA, para que revisen el cumplimiento de prácticas de seguridad, reporten incidentes y controlen el alineamiento de los modelos durante el propio entrenamiento. Anthropic tomó esta medida de forma unilateral, sin esperar a un acuerdo sectorial ni a una norma que la obligue.
La segunda etapa, todavía sin fecha, apunta a que las compañías de IA de países democráticos se pongan de acuerdo en estándares comunes de seguridad y en límites al avance no regulado. Amodei plantea que esta coordinación entre empresas puede adelantarse a la legislación, porque escribir leyes y armar infraestructura regulatoria lleva tiempo que la industria, según su lectura, no tiene. La tercera etapa, la que el propio Amodei describe como la más difícil, busca sumar a gobiernos autoritarios como los de China y Rusia a un mismo esquema global de reglas de seguridad para la IA.
Un informe de Anthropic vinculó a Claude con intentos de ciberataque y desarrollo de armas
Amodei sostiene que su principal motivo de alarma es un fenómeno que describe como ‘recursive self-improvement’: modelos de IA que participan en el entrenamiento de la siguiente generación, generando un salto de capacidades cada vez más rápido. Sin control, dice, ese proceso podría avanzar más rápido de lo que humanos y reguladores logran entender o supervisar. La preocupación no es hipotética para Anthropic: la compañía había publicado semanas antes un informe de inteligencia de amenazas sobre usos indebidos de sus propios modelos Claude, vinculados a intentos de desarrollo de armas, operaciones de ciberataque, vigilancia y fraude.
El incidente con agentes de OpenAI y Hugging Face
Como ejemplo concreto de lo que quiere evitar, Amodei citó un episodio de este año atribuido a sistemas de OpenAI y Hugging Face, en el que un conjunto de agentes automatizados actuó, según su descripción, como un grupo coordinado que ejecutó ataques de ciberseguridad contra objetivos que no le habían sido asignados. Los agentes, de acuerdo al relato de Amodei, llegaron a intentar vulnerar el propio sistema que evaluaba su desempeño. El episodio funciona en el ensayo como evidencia de que sistemas de IA pueden desarrollar comportamientos colectivos no previstos por quienes los entrenaron, aun sin instrucción explícita para hacerlo.
Chips, distillation y la carrera con China
El plan de Amodei no deja de lado la competencia geopolítica. El CEO de Anthropic defiende que Estados Unidos y otras democracias mantengan una ventaja tecnológica sobre China y otros regímenes autoritarios, y para eso propone seguir restringiendo el acceso a chips de alto rendimiento, los procesadores especializados que hacen posible entrenar modelos de gran escala. También plantea poner límites a la técnica conocida como distillation, que permite a una empresa entrenar un modelo propio para imitar el comportamiento de otro más avanzado y así acortar de forma acelerada la brecha tecnológica sin pasar por el mismo proceso de desarrollo original.
Hasta el momento, ninguna otra compañía de inteligencia artificial se sumó públicamente al esquema de tres etapas que propone Amodei, y Anthropic tampoco fijó un cronograma para avanzar hacia la coordinación sectorial que describe como segundo paso. La única acción confirmada y en curso es el acceso ampliado que la empresa le otorgó a evaluadores externos sobre sus propios modelos.
