PrismML muestra un modelo de 1 bit funcionando en local en gafas con Qualcomm, aunque sin producto a la venta

La startup PrismML y Qualcomm han mostrado un modelo de lenguaje de 1 bit funcionando por completo en local sobre unas gafas inteligentes con la plataforma Snapdragon AR1 Gen 1. La demostración se hizo en la Snapdragon Summit, en Pasadena, entre el 23 y el 24 de septiembre. La idea es que unas gafas puedan entender lo que ven y responder sin depender de la nube. Es un avance técnico interesante, pero conviene tener claro que se trata de una demostración y que todavía no se ha anunciado ninguna gafa a la venta con este modelo.

Qué se ha mostrado

Según el comunicado de PrismML y TechCrunch, se trata de un modelo de visión y lenguaje de 2.000 millones de parámetros, basado en su Bonsai 1.7B lanzado a principios de año. Está formado por un modelo de lenguaje de 1.700 millones de parámetros cuantizado a 1 bit, y un codificador de visión de 300 millones de parámetros a 4 bits. Con esa compresión, la empresa afirma que caben cuatro veces más parámetros en la misma memoria que antes en algunos tipos de gafas. La demostración permite preguntar en tiempo real por lo que el usuario está mirando.

Cómo lo consiguen

La técnica es comprimir los pesos del modelo hasta representarlos con un solo bit en lugar de con varios, lo que reduce mucho la memoria necesaria. PrismML afirma, según el comunicado, que el modelo de 1,7B a 1 bit ocupa unos 0,43 GB en pesos, y que se probó en un equipo con 4 GB de memoria y 6 billones de operaciones por segundo, con un contexto de 1.024 tokens. Se optimizó junto con Qualcomm para su unidad de procesamiento neuronal Hexagon. La empresa lo compara con un modelo de tamaño similar cuantizado a 4 bits, y TechCrunch resume que reduce el tamaño del modelo a la cuarta parte conservando casi todo su rendimiento en pruebas estándar. Son cifras de la propia compañía.

Por qué importa la ejecución en local

Privacidad: según Ziad Asghar, de Qualcomm, permite asistencia basada en visión sin que el contexto visual personal salga del dispositivo. Es una ventaja frente a los casos en que las gafas envían imágenes a la nube, como vimos en el uso de fotos de las gafas Meta para entrenar IA.
Inmediatez y batería: sin viaje a la nube, las respuestas pueden ser más rápidas, y la empresa habla de mejor eficiencia energética, aunque no se han publicado mediciones independientes.
Modelos pequeños: es coherente con una línea de trabajo que busca ejecutar IA con menos recursos, como los modelos que razonan con menos tokens.

Lo que todavía no se sabe

No hay producto: según The AI Insider, todavía no se ha anunciado ninguna gafa inteligente que use el modelo de PrismML.
Licencia y apertura: el objetivo declarado de la empresa es la IA de pesos abiertos que funcione en el dispositivo, presentada como alternativa a depender de las promesas de privacidad de los laboratorios propietarios. Pero un análisis de Shattered.io señala que está por confirmar si este modelo concreto es de código abierto o no, dado que la tecnología se basa en propiedad intelectual de Caltech.
Verificación independiente: nadie ha reproducido de forma independiente las cifras de rendimiento.
Alcance limitado: un modelo de esta escala puede describir lo que ve y responder preguntas sencillas, pero no compite con los grandes modelos en tareas complejas.

Qué implica en la práctica

Si los modelos diminutos mantienen buena parte de su rendimiento, las gafas y otros dispositivos pequeños podrían ofrecer funciones de IA sin conexión constante. Para los fabricantes, sería una vía para competir en autonomía y privacidad, un terreno en el que Qualcomm también empuja, como vimos con la IA en los auriculares con Snapdragon, y que contrasta con el enfoque de las nuevas gafas de Meta.

Nuestra lectura

La demostración es una buena señal técnica, y encaja con la tendencia de llevar la IA al dispositivo. Pero entre una demo en un evento y un producto que la gente use hay un trecho grande: hace falta un fabricante de gafas, una licencia clara y pruebas independientes de rendimiento y batería. Lo sensato es mirar el anuncio como un indicador de hacia dónde va la tecnología y esperar a ver productos reales.

Fuentes: TechCrunch, comunicado de PrismML, The AI Insider y Shattered.io.