El asesor de IA del Vaticano acusa a los grandes laboratorios de actuar como un cártel

Paolo Benanti, uno de los principales asesores del Vaticano en inteligencia artificial, ha acusado a los grandes laboratorios de IA de comportarse como un cártel. Lo dijo en una entrevista con Wired publicada el 23 de septiembre, el mismo día en que directivos de las empresas del sector comparecían ante el Consejo de Seguridad de la ONU. Su argumento es que el debate sobre una IA todopoderosa que podría destruir la humanidad desvía la atención de una cuestión más cercana: quién decide cómo se construye y se gobierna esta tecnología. Conviene leerlo con sus matices, porque no niega los riesgos.

Quién es Benanti

Benanti es un fraile franciscano italiano, profesor de ética de las tecnologías en la Pontificia Universidad Gregoriana, que asesoró al papa Francisco en cuestiones de IA y hoy es una voz habitual del Vaticano bajo León XIV. Es uno de los asesores destacados sobre IA, no el único. Según L’Express, contribuyó a la encíclica Magnifica humanitas, publicada el 25 de mayo, que León XIV dedicó a proteger a la persona en la era de la IA.

Qué sostiene

Según el resumen de la entrevista, Benanti afirma que el desvío hacia la superinteligencia distrae de la necesidad de un debate abierto sobre cómo limitar a las empresas que construyen la tecnología. Al presentar el problema como tan complejo que solo ellas pueden resolverlo, dice, los grandes laboratorios excluyen a todos los demás de la conversación. Startup Fortune lo sintetiza como que el miedo se ha convertido en una herramienta de control: sus advertencias sobre una superinteligencia divina servirían en gran parte para mantener las decisiones reales fuera del ojo público. Benanti no dice que los riesgos sean falsos.

El matiz: el Vaticano también advierte de riesgos

Esto es importante para no leerlo como una descalificación del debate sobre el riesgo. Según Reuters, el Vaticano advirtió del riesgo de un apocalipsis provocado por la IA años antes de que empresas estadounidenses dieran la voz de alarma ante el Consejo de Seguridad, y León XIV lo sitúa en el centro de su pontificado. Benanti también ha dicho a la BBC que las tecnologías de IA pueden ser herramientas de supermanipulación, con un efecto emocional sobre jóvenes y niños que podría ser peor que el de otras adicciones. Y la encíclica advierte repetidamente de que el poder de la IA se concentre en manos de unos pocos. Su crítica no es que el riesgo sea exagerado, sino que quien lo define y quién lo gestiona no puede ser solo un puñado de empresas.

La palabra cártel y sus límites

Es una acusación con carga. En sentido estricto, un cártel implica coordinación entre competidores, y ese es un asunto que ya ha llegado a los tribunales: cuatro suscriptores demandaron a varios laboratorios por un supuesto acuerdo ilegal para frenar la IA. Por otro lado, los laboratorios sostienen que sus propuestas, como la de marcar el ritmo con evaluadores externos, buscan precisamente abrir su trabajo a la verificación de terceros. Un argumento parecido al de Benanti lo ha hecho el consejero delegado de Cohere, Aidan Gomez, que advierte de una captura regulatoria: que las reglas las moldeen quienes ya dominan el mercado. Que desde posiciones muy distintas se llegue a críticas parecidas sobre los mismos pocos actores es, cuanto menos, llamativo.

El contexto político

El debate sobre gobernanza global está muy dividido. Según Startup Fortune, que cita a Fortune, el asesor de IA de la Casa Blanca, Michael Kratsios, rechazó nuevas estructuras de gobernanza global en la sesión de la semana, y Trump ha llamado a la supervisión internacional de la IA un plan globalista. También el 16 de septiembre, la conferencia episcopal estadounidense creó un grupo de trabajo sobre IA tras reunirse con directivos del sector.

Qué implica en la práctica

• Ampliar quien participa: ciudadanos, comunidades científicas y autoridades públicas, y no solo las empresas, en la definición de reglas.
• Transparencia: mecanismos verificables por terceros, un tema que ya vimos en la dificultad de verificar una ralentización.
• Precaución con las etiquetas: llamar cártel a un sector es una opinión, no una conclusión jurídica.

Nuestra lectura

La aportación de Benanti es una pregunta más que una acusación: ¿quién decide? Puede ser cierto a la vez que los riesgos que se señalan sean reales y que la forma de discutirlos deje fuera a casi todo el mundo, y esa combinación es la que hace útil su crítica. Ya lo planteábamos, con otro enfoque, en si un pacto de seguridad entre gigantes es genuino o un cártel. Lo razonable es juzgar a los laboratorios por lo que abran a la verificación externa y a quien la pueda hacer, y no solo por su discurso sobre los riesgos.

Fuentes: resumen de la entrevista de Wired (Benton Institute), Startup Fortune, Reuters y L’Express.