Dos investigadores que han trabajado en algunos de los laboratorios de inteligencia artificial más influyentes del momento han decidido hacer justo lo contrario de lo que hace el resto del sector: en lugar de guardar bajo llave sus investigaciones más sensibles, van a publicarlas en abierto. Nathan Lambert y Tom Zick acaban de fundar Trillium Labs, una organización sin ánimo de lucro dedicada a investigar dos de los temas más delicados de la IA actual: la automejora recursiva de los modelos y el comportamiento de los agentes autónomos.
Quiénes están detrás
Nathan Lambert es una figura conocida en el mundo de la IA abierta: ya había trabajado en el Instituto Allen para la IA (Ai2), una de las organizaciones más respetadas en modelos de lenguaje con código y pesos abiertos. Junto a Tom Zick, ha puesto en marcha Trillium Labs con sede repartida entre la bahía de San Francisco y Cambridge, Massachusetts. El proyecto ya cuenta con financiación inicial de Halcyon Futures y Schmidt Sciences, y está contratando tanto a empleados a tiempo completo como a estudiantes en prácticas.
Por qué investigar en abierto es una apuesta arriesgada
La mayoría de los grandes laboratorios de IA mantienen sus investigaciones más delicadas completamente cerradas. La lógica habitual es que, si solo un grupo reducido de personas tiene acceso a los modelos más capaces, pueden hacer menos daño en el mundo real mientras los investigadores tratan de entender de qué son realmente capaces. Trillium Labs plantea la apuesta contraria: sostiene que ese mismo hermetismo podría, sin quererlo, frenar la innovación y dificultar que la comunidad científica en general entienda hacia dónde se dirige realmente la IA.
Los dos temas que piensan investigar sin esconder nada
El núcleo del proyecto se centra en dos áreas especialmente sensibles: la automejora recursiva, es decir, sistemas de IA capaces de mejorar sus propias capacidades de forma iterativa, y el comportamiento de los agentes autónomos, incluido el fenómeno conocido como «reward hacking», cuando un sistema encuentra formas inesperadas (y no deseadas) de maximizar su recompensa sin cumplir realmente el objetivo previsto. Son precisamente los temas que más preocupan a la comunidad de seguridad en IA, y los que los grandes laboratorios comerciales suelen tratar con mayor opacidad.
Qué van a publicar exactamente
Trillium Labs planea liberar recetas de post-entrenamiento en abierto e infraestructura de investigación compartida, pensada para que otros laboratorios y universidades puedan estudiar cómo se comportan realmente los modelos más potentes, incluidos temas como los sistemas multiagente. El objetivo explícito es evitar que la investigación sobre modelos de frontera quede confinada únicamente a entornos corporativos cerrados, sin supervisión externa real.
La recepción dentro de la comunidad
El anuncio generó reacciones entusiastas entre investigadores del sector de la IA abierta. Comentarios como que se trata de «ciencia abierta de verdad, por fin», o que Lambert tiene una capacidad fuera de lo común para organizar coherentemente a grupos en torno a una visión acertada del futuro, circularon rápidamente entre la comunidad de investigadores que sigue de cerca este tipo de iniciativas.
Un matiz importante: no son los únicos con ese nombre
Conviene no confundir a Trillium Labs con Trillion Labs, una empresa de nombre parecido que también ha apostado por la apertura, en su caso publicando puntos de control intermedios de entrenamiento de un modelo de 70.000 millones de parámetros, algo que describen como la primera publicación de este tipo a esa escala. Trillion Labs ha trabajado además en modelos de lenguaje coreano y mantiene una colaboración con Nvidia para desarrollar «modelos de mundo» industriales aplicados a centros de datos e infraestructura energética, con una ronda semilla de entre 4 y 6 millones de dólares. Son organizaciones distintas, con fundadores distintos, que coinciden únicamente en apostar por la transparencia dentro de un sector dominado por el secretismo.
Qué implica en la práctica
- Para la comunidad investigadora: tener acceso a recetas de post-entrenamiento e infraestructura compartida sobre temas tan sensibles podría acelerar la investigación independiente sobre seguridad en IA, hoy muy limitada por la falta de acceso a modelos de frontera.
- Para el debate sobre regulación de la IA: cuantos más datos reales y verificables existan sobre cómo se comportan los modelos más avanzados, menos tendrán que depender los reguladores únicamente de lo que los propios laboratorios comerciales deciden revelar.
- Para otros laboratorios del sector: si el experimento de Trillium Labs genera hallazgos de valor real, podría presionar indirectamente a otros laboratorios para que reconsideren su nivel actual de opacidad.
Nuestra lectura
La apuesta de Trillium Labs choca directamente con la lógica dominante del sector, donde la opacidad se justifica habitualmente como medida de seguridad. Que dos investigadores con credenciales sólidas decidan apostar justo por lo contrario, y que hayan conseguido financiación de entidades como Schmidt Sciences para hacerlo, sugiere que una parte de la comunidad científica empieza a ver el secretismo no como una solución, sino como parte del propio problema. El verdadero valor del proyecto se verá en los próximos meses, cuando empiecen a aparecer los primeros resultados de investigación publicados en abierto.
Fuentes: Wired, Crypto Briefing y HuggingNews.