Un equipo de investigadores de la Universidad de Maryland ha presentado LEGO-Anything, un sistema en el que un agente de programación convierte una sola fotografía en una escena tridimensional representada como código editable de Blender. La idea es que la reconstrucción no sea un archivo 3D cerrado, sino un programa que se puede inspeccionar, modificar y consultar. El trabajo, publicado en arXiv a finales de septiembre, incluye también un banco de pruebas, y sus resultados dejan un mensaje doble: los agentes entregan escenas utilizables casi siempre, pero fallan bastante al reproducir la geometría real.
El planteamiento: de la imagen al código
Los autores llaman a su enfoque «Image-to-Code». Un agente de programación escribe y ejecuta código de Blender, el programa de modelado 3D de código abierto, mira la escena que ha generado y la imagen que produce, y revisa el programa en un bucle iterativo. Según el artículo, una escena reconstruida a partir de una sola imagen es más útil cuando se representa como un programa explícito cuya ejecución produce la escena, y no como un renderizado o un modelo fijo. Para un artista o un desarrollador, la ventaja es evidente: puede cambiar un objeto, ajustar una medida o reutilizar el resultado sin empezar de cero.
El banco de pruebas: LEGO-Bench
Para medir qué tan bien lo hacen los agentes, el equipo creó LEGO-Bench, un conjunto de 208 imágenes procedentes de 104 escenas de interior y de exterior, con una verdad de referencia obtenida de simuladores. En lugar de colapsar todo en una sola nota, puntúa por separado tres cosas: la validez del artefacto entregado (si hay una escena utilizable), la geometría de las superficies visibles y la apariencia del resultado renderizado.
Lo que muestran los resultados
El mejor de los agentes evaluados fue GPT-6-astra, con una puntuación del 53,4 % en interiores y del 39,6 % en exteriores. Según el análisis de The Decoder, las seis configuraciones de GPT probadas entregaron una escena funcional casi siempre, pero tuvieron dificultades con la geometría. Los propios autores lo resumen con prudencia: las escenas construidas como programas son una representación «prometedora pero todavía no suficientemente precisa» de las imágenes naturales, y siguen existiendo diferencias sustanciales entre entregar un artefacto válido y recuperar fielmente la geometría y la apariencia.
Una mejora sin reentrenar
El trabajo incluye un complemento, LEGO-Plugin, que no requiere reentrenar los modelos. Probado sobre seis de ellos en un subconjunto de 42 casos de oficina, mejoró a todos, con ganancias relativas de hasta el 62,7 % en la puntuación global. Es un dato relevante porque sugiere que el techo actual no es fijo y que parte del problema se puede atacar con mejores herramientas alrededor del modelo, no solo con modelos más grandes.
El problema de la autoevaluación
El titular del análisis de The Decoder resume la preocupación más llamativa: estos agentes construyen escenas 3D a partir de fotos, pero no saben si han acertado. Es decir, entregan el resultado con seguridad aparente sin una forma fiable de comprobar cuánto se parece al original. Conviene no exagerar esa conclusión: es una lectura de los resultados de un banco de pruebas concreto y relativamente pequeño, no una medida universal de la capacidad de autoevaluación de los modelos.
Para qué podría servir
La reconstrucción de escenas 3D a partir de imágenes tiene aplicaciones en videojuegos, arquitectura, cine, realidad aumentada y robótica, y que el resultado sea editable lo hace especialmente interesante para flujos de trabajo creativos. Pero con precisiones del 40 al 53 %, el sistema está lejos de ser una herramienta lista para producción; es, más bien, una demostración de una vía prometedora y una vara de medir para mejorarla.
Qué implica en la práctica
- Para creadores y desarrolladores: abre la posibilidad de obtener un punto de partida editable a partir de una foto, aunque exigirá revisión humana de la geometría.
- Para investigadores: LEGO-Bench ofrece una forma de medir por separado validez, geometría y apariencia, algo útil para comparar agentes.
- Para leer estos resultados: los porcentajes dependen de un banco de pruebas concreto, y la mejora del plugin se mide en un subconjunto de 42 casos.
Nuestra lectura
Lo más valioso del trabajo es su idea de fondo: tratar la reconstrucción 3D como programación, con un bucle de escribir, ejecutar, mirar y corregir. Eso hace que el resultado sea transparente y editable, justo lo que se echa de menos en muchas herramientas de IA generativa. Las cifras muestran que aún queda camino, y que la distancia entre una escena que funciona y una escena que se parece a la realidad es el verdadero reto.
Fuentes: arXiv (LEGO-Anything), The Decoder y AI Weekly.