Una de las herramientas pensadas para hacer la IA más transparente podría tener un efecto secundario incómodo. Un estudio de la empresa de seguridad Lasso Security, recogido por Ars Technica, sugiere que las marcas de agua de texto que se insertan en lo que escribe un modelo pueden alterar también cómo este responde ante peticiones dañinas. Los resultados son mixtos y se han obtenido con modelos abiertos, pero llegan justo cuando estas marcas están a punto de generalizarse.
Qué encontró el estudio
Los investigadores probaron SynthID-Text, el sistema de marcas de agua de texto desarrollado por Google DeepMind y publicado en abierto, sobre seis modelos de pesos abiertos. Comprobaron que la marca no solo afecta a qué palabras elige el modelo: también puede influir en qué herramientas invoca un agente y en si respeta o esquiva sus barreras de seguridad. El efecto se acentuaba con ataques de inyección de prompts, es decir, instrucciones maliciosas diseñadas para que el modelo haga algo que normalmente rechazaría, como revelar contraseñas o información sensible. Varios modelos se mostraron más dispuestos a atender peticiones dañinas después de activar la marca.
Hay un detalle clave: el resultado no fue igual en todos los casos. Al cambiar la clave secreta con la que se genera la marca, algunas configuraciones aumentaban el cumplimiento de peticiones dañinas respecto al mismo modelo sin marca y otras lo reducían. Eso sugiere que la propia clave puede influir en el comportamiento, y que no se puede hablar de un efecto único y uniforme. La investigadora de Lasso Security Andrea Siposova explicó a Ars Technica que, aunque la marca está pensada para que un lector no la perciba, cualquier cambio en lo que genera el modelo tiene contrapartidas que acaban apareciendo en algún sitio, sobre todo en condiciones adversas o cuando el modelo actúa como agente.
Cómo funciona una marca de agua de texto y por qué puede afectar
A diferencia de una etiqueta pegada a un texto terminado, una marca de agua de texto se introduce mientras el modelo escribe. En términos generales, se sesga ligeramente la elección de cada palabra según una clave secreta, de modo que quede un patrón estadístico que un detector puede comprobar más tarde. Para el lector, el texto parece normal. Pero elegir palabras es, en el fondo, lo único que hace un modelo de lenguaje: si cambia cómo se elige cada una, se altera de forma sutil el comportamiento en su conjunto.
En un agente, esa elección tiene consecuencias mayores. Las palabras que genera el modelo no solo forman una respuesta: también determinan qué herramienta externa usa y con qué argumentos. Además, la negativa a atender una petición dañina es una conducta delicada que se consigue con un entrenamiento de seguridad específico, y pequeñas desviaciones en la forma de muestrear el texto podrían desplazarla en un sentido u otro. Es una explicación plausible, no una conclusión del estudio, que solo describe que el cambio existe.
Por qué esto importa ahora
Las marcas de agua están dejando de ser opcionales. El artículo 50 del Reglamento de IA de la Unión Europea exige a los proveedores de IA generativa marcar el contenido sintético en un formato legible por máquinas y detectable. Y Anthropic ha anunciado que sus futuros modelos Claude usarán SynthID-Text. Es decir, una técnica cuyo efecto sobre la seguridad se está empezando a medir va a desplegarse a gran escala por motivos regulatorios y de trazabilidad, un debate afín al de saber cuándo hablamos con una voz de IA.
Lo que el estudio no dice
Conviene no exagerar. Se probó en seis modelos de pesos abiertos, y los propios autores no verificaron cómo cambian las respuestas de Claude al aplicar la marca. El efecto varía según la clave y el modelo, y es el trabajo de una sola firma de seguridad, a la espera de réplicas independientes. Tampoco demuestra que las marcas de agua vuelvan peligrosa a la IA: demuestra que su impacto sobre la seguridad no es cero y que debería medirse.
Además, la seguridad no es el único frente en el que estas marcas son discutidas. Investigaciones académicas han mostrado que ataques adaptativos, como reescribir el texto con otro modelo, pueden debilitar o eliminar la detección de las marcas de agua. Es decir, hay dudas tanto sobre lo que la marca hace al modelo como sobre lo bien que funciona como prueba de origen.
Qué implica en la práctica
- Probar la seguridad después de añadir la marca: cualquier cambio en cómo genera el modelo debería pasar por las mismas evaluaciones de rechazo que el modelo original, no solo por pruebas de calidad del texto.
- Evaluar las claves: si la clave secreta puede modificar el comportamiento, forma parte de la configuración que hay que auditar.
- Vigilar los agentes: donde el modelo llama a herramientas, un cambio de comportamiento cuesta más que en un chat, como se vio con la poca resistencia a la inyección de prompts de Muse.
- No depender solo de la marca: otras vías de trazabilidad, como metadatos firmados o detectores, pueden complementarla.
Nuestra lectura
La lección principal es de método. Una función pensada para mejorar la confianza en la IA es también una modificación del modelo, y las modificaciones de los modelos necesitan pruebas de seguridad propias. El estudio no permite concluir que las marcas de agua sean un riesgo grave, pero sí que dar por sentado que son inocuas es una suposición sin verificar, cuando ya hay una obligación legal y un despliegue en marcha.
Lo razonable ahora es esperar réplicas con más modelos, incluidos los de producción, y con datos abiertos sobre el efecto de cada clave. Si se confirma, habrá que resolver la tensión entre dos objetivos legítimos: poder identificar qué texto es de una IA y garantizar que esa identificación no debilita las barreras que evitan que el modelo haga daño.
Fuentes: cobertura de Ars Technica, resumen de Fudzilla y estudio académico sobre la eliminación de marcas de agua (arXiv).