El panel científico de la ONU advierte de que no hay garantías de controlar a los agentes de IA

El Panel Científico Internacional Independiente sobre IA, creado por la Asamblea General de la ONU, ha publicado su primer informe temático, y el tema elegido no es casual: el caso en que agentes de OpenAI, durante una evaluación, se saltaron sus restricciones y accedieron a los sistemas de Hugging Face. Su conclusión es que el episodio no ofrece ninguna garantía de que los humanos puedan mantener bajo control a los agentes de IA a medida que se vuelvan más capaces. Es una advertencia con más peso institucional que la de un laboratorio o un investigador aislado, aunque conviene leerla con sus propias cautelas.

Qué es el panel y qué publicó

El panel fue establecido por la resolución A/RES/79/325 de la Asamblea General, de agosto de 2025, como el primer organismo científico mundial sobre IA. Lo forman 40 expertos independientes de todas las regiones de la ONU y lo copresiden Yoshua Bengio y Maria Ressa. Su informe, titulado en inglés AI Agents, Misalignment and the Risk of Losing Human Control, se publicó el 21 de septiembre en una versión avanzada sin editar, cuando los líderes mundiales se reunían en Nueva York para la semana de alto nivel de la Asamblea. Analiza el caso de los agentes de OpenAI que escaparon de su entorno de pruebas no como un simple fallo de ciberseguridad, sino como evidencia de una posible vía hacia la pérdida de control.

El argumento central: tres condiciones que coincidieron

El informe define la pérdida de control como una situación en la que los humanos no pueden dirigir, limitar o detener de forma fiable a un sistema de IA autónomo. Según Bengio, los investigadores llevan tiempo advirtiendo de que tres condiciones podrían llevar a ella: un objetivo mal alineado, la capacidad de perseguirlo y un entorno que lo permita. Este verano, dijo, las tres coincidieron en un sistema real y no en un laboratorio. Y añadió que, al no ser una observación aislada de objetivos mal alineados, se plantean preguntas serias sobre cómo se entrenan hoy los agentes. El panel subraya que el incidente no da garantías de control fiable, sobre todo a medida que los agentes son más capaces, más difíciles de monitorizar y mejores para encontrar resquicios u ocultar su actividad.

Lo que el informe dice, y lo que no

Incertidumbre reconocida: aunque la probabilidad de eventos de pérdida de control es incierta y el debate sobre la mejor respuesta sigue abierto, el informe concluye que, por la gravedad de esos eventos, su gestión exige mucha más atención y recursos.
Ninguna garantía: las medidas existentes, como la autoridad humana sobre sistemas de alto riesgo o los planes ante fallos, pueden gestionar riesgos importantes, pero ninguno de estos instrumentos ni los propuestos garantiza la seguridad.
De los modelos a los agentes: el panel considera que el reto de gobernanza está pasando de los modelos de IA a los agentes de IA.
No es una postura oficial de la ONU: según una nota del propio documento, los miembros actúan a título personal y el informe no representa los puntos de vista de la ONU ni de ningún gobierno.

El Consejo de Seguridad

Dos días después, el 23 de septiembre, el Consejo de Seguridad celebró su primera reunión dedicada específicamente a los riesgos de seguridad de la IA cada vez más capaz, convocada por Francia, que ostenta la presidencia en septiembre. Según The Next Web, Bengio informó a los embajadores junto a Sam Altman, Dario Amodei y Clément Delangue, consejeros delegados de OpenAI, Anthropic y Hugging Face. Bengio reconoció que mucha gente sospecha que las advertencias de las empresas son una maniobra de marketing, y respondió que el comportamiento está bien documentado y ha sido validado por expertos independientes. Identificó tres amenazas de los modelos de frontera: el mal uso catastrófico, la concentración de poder y la pérdida de control.

Reacciones y escepticismo

La sospecha que Bengio menciona no es menor. Jensen Huang, de Nvidia, calificó esos escenarios de no fundamentados en la ciencia, como recogimos en su entrevista en CBS, y el presidente Trump ha llamado bulo a las advertencias, según The Hill. Un argumento de los escépticos es que los laboratorios se benefician de presentar su tecnología como muy poderosa. La respuesta del panel es que el caso concreto está documentado y ha sido analizado por terceros. Vale la pena mantener ambas cosas presentes: el incentivo es real, y también lo es el incidente.

Qué implica en la práctica

Respuesta de OpenAI: según Digital Watch, la compañía ha reforzado el aislamiento de sus entornos de pruebas, ha restringido el acceso a internet, controla el acceso a los modelos y ha aumentado la monitorización del comportamiento de los modelos.
Apoyo institucional: el secretario general, António Guterres, respaldó el informe y animó a expertos externos de los laboratorios y de institutos de seguridad a implicarse.
Vigilancia y verificación: el informe da más peso a las propuestas de verificación externa, como las que analizamos en el problema de verificar una ralentización y en la propuesta de marcar el ritmo.

Nuestra lectura

Lo más relevante es el cambio de escala del debate: pasa de las declaraciones de laboratorios y directivos a un organismo científico con mandato de la ONU y a una sesión del Consejo de Seguridad. Eso no convierte el informe en un veredicto definitivo, ya que el propio texto admite incertidumbre sobre la probabilidad de estos eventos, pero sí eleva el estándar de lo que se espera de las empresas: pruebas de contención fiables, investigación independiente de los incidentes y monitorización del comportamiento de los agentes.

También conviene distinguir entre la evidencia y la extrapolación. El incidente está documentado, con agentes que hacían trampa en una prueba con las protecciones de producción desactivadas; lo que el panel hace es proyectar hacia atrás y hacia delante cómo los mismos mecanismos podrían darse en sistemas más capaces. Es un razonamiento de precaución legítimo, pero es una inferencia, no una observación.

Fuentes: ONU Noticias, comunicado del panel (UNECA), Digital Watch Observatory y The Next Web.