Dario Amodei dio el pistoletazo de salida. El 12 de septiembre, el consejero delegado de Anthropic ublicó en su web personal el ensayo «We Must Pace the Frontier», en el que sostiene que la industria debe ralentizar deliberadamente la mejora de capacidades de los modelos de IA porque el trabajo de seguridad ya no avanza al mismo ritmo que la capacidad técnica. Amodei propuso un plan de tres pasos: evaluadores externos con acceso equivalente al de un empleado dentro de los laboratorios, estándares de seguridad compartidos entre democracias y, a largo plazo, un acuerdo internacional que incluya a China. Sam Altman, Elon Musk y Satya Nadella se sumaron rápidamente a la llamada.
El ensayo llegó pocos días después de que un investigador de Anthropic renunciara públicamente advirtiendo de una probabilidad elevada de un desenlace catastrófico si no se corrige el rumbo, y tras conocerse un incidente de ciberseguridad de julio en el que agentes de OpenAI atacaron de forma no autorizada la plataforma Hugging Face.
Amodei alertó sobre el riesgo de una Rogue AI: sistemas o agentes capaces de operar con autonomía, usar herramientas, coordinar acciones y producir efectos dañinos más allá de lo inicialmente previsto por sus desarrolladores. La preocupación ya no se limita a errores, sesgos o desinformación; se desplaza hacia modelos que pueden actuar sobre código, credenciales, infraestructuras y procesos reales.
Pero el consenso súbito entre los grandes laboratorios merece una lectura menos ingenua. Quienes hoy piden prudencia son también quienes disponen de la mayor capacidad de cómputo, los modelos más avanzados, los mejores datos, el capital y la infraestructura cloud. Si el nuevo estándar de seguridad exige auditorías costosas, acceso a supercomputación, equipos especializados y controles complejos, puede proteger al público, pero también consolidar a los actores ya dominantes y elevar las barreras para startups, proyectos open source, universidades y empresas europeas.
Esto podría tener consecuencias importantes a nivel jurídico. Una coordinación entre rivales para limitar el ritmo de lanzamiento, el acceso a determinadas capacidades o la evolución de modelos podría plantear problemas bajo el artículo 101 del TFUE (Tratado de Funcionamiento de la Unión Europea) prohíbe los acuerdos, decisiones y prácticas entre empresas que restrinjan, impidan o falseen la competencia en el mercado interior de la UE y, en Estados Unidos, bajo la Sherman Act si no existe una justificación objetiva, proporcional y sometida a supervisión pública. La seguridad no debería convertirse en una excepción automática para que un pequeño grupo de empresas rediseñe el mercado.
Estados Unidos tampoco parece dispuesto a aceptar una pausa que pueda ser aprovechada por China. Washington puede admitir evaluaciones, estándares de ciberseguridad y controles sobre usos críticos, pero difícilmente respaldará un límite internacional que condicione su liderazgo en chips, nube, capital privado y modelos fundacionales.
Pekín, por su parte, rechaza que la “seguridad de la IA” se convierta en otra vía de contención tecnológica occidental. Su objetivo no es tanto frenar a Estados Unidos como impedir que los controles sobre modelos, semiconductores y estándares internacionales funcionen como un mecanismo de exclusión de las empresas chinas. El desacuerdo, por tanto, no versa solo sobre riesgos: versa sobre quién escribirá las reglas de acceso al poder computacional.
Europa ocupa una posición más ambivalente. Dispone de una arquitectura regulatoria avanzada, encabezada por el Reglamento de IA, pero no controla en la misma medida los grandes modelos, la nube o el hardware estratégico. Su reto no consiste únicamente en imponer obligaciones a proveedores extranjeros; consiste en evitar que la regulación produzca una dependencia ordenada y jurídicamente sofisticada de tecnología desarrollada fuera de Europa.
El Panel Científico Internacional Independiente sobre IA de Naciones Unidas publicó el 1 de julio de 2026 un informe preliminar que advierte de la brecha entre la aceleración de capacidades y la capacidad de los marcos de gobernanza para responder. El documento alimentó el primer Diálogo Global sobre Gobernanza de la IA, celebrado en Ginebra los días 6 y 7 de julio.
Conviene, no obstante, evitar una simplificación frecuente: Naciones Unidas no ha puesto sobre la mesa un convenio internacional vinculante de IA. El Panel tiene un mandato científico, no negociador; ofrece evidencia para la deliberación política, pero no está redactando un tratado global.
Y aunque existiera voluntad política, un convenio de esta naturaleza afrontaría obstáculos considerables: cómo definir una IA de frontera, cómo verificar modelos sin exponer secretos empresariales, cómo controlar tecnología de doble uso, cómo distinguir entre usos civiles y militares y cómo sancionar incumplimientos sin una autoridad global efectiva. La IA no es material nuclear: es código, modelos reproducibles, datos, infraestructura distribuida y conocimiento técnico transferible.
No parece que hayamos llegado al techo de la IA ni a una pausa real. Los laboratorios continúan entrenando modelos, desplegando agentes e invirtiendo en centros de datos; Washington no quiere ceder ventaja estratégica; Pekín no aceptará reglas que perciba como contención; y Europa intenta simultáneamente regular y construir autonomía tecnológica.
La alerta sobre sistemas más autónomos debe tomarse en serio. Pero la prudencia no puede quedar exclusivamente en manos de quienes concentran la tecnología y, al mismo tiempo, se presentan como sus guardianes. El verdadero debate no será si la IA se ralentiza, sino quién decide el ritmo, qué controles son verificables y si la seguridad acabará protegiendo a la sociedad o blindando un nuevo oligopolio tecnológico.
