Investigadores de Apple Descubren un Fallo Oculto que Puede Corromper Silenciosamente Imágenes Generadas por IA

Puntos clave

• Apple ML Research identificó un fallo llamado tokens atípicos dentro de sistemas de generación de imágenes de IA basados en un diseño conocido como Diffusion Transformers.
• Estos tokens atípicos aparecen tanto en la parte del sistema que lee imágenes como en la que crea otras nuevas.
• El problema es más agudo en las capas intermedias del modelo, las etapas de procesamiento entre la entrada y la salida final.
• Sin control, los tokens atípicos desvían la atención del modelo hacia lugares equivocados, reduciendo la calidad de la imagen.

Imagina un aula donde un estudiante ruidoso sigue interrumpiendo cada lección. Ese estudiante nunca dice nada útil, pero el resto de la clase aún se gira para mirar. Algo muy similar ocurre dentro de los sistemas de IA que generan imágenes a partir de indicaciones de texto.

Investigadores de Apple ML Research han cartografiado ahora el problema en detalle. Los culpables se llaman tokens atípicos. Un token, en este contexto, es un pequeño fragmento de información que la IA procesa, más o menos como una palabra en una oración pero para imágenes. Un token atípico lleva un valor numérico inusualmente grande, haciéndolo parecer mucho más importante de lo que realmente es.

¿Qué exactamente sale mal?

Los tokens atípicos roban atención. La capacidad de procesamiento se dedica a ellos aunque contengan poca información real sobre la imagen que se está construyendo.

La investigación se centra en una clase de modelo llamada Diffusion Transformers, o DiTs. Estos impulsan muchos de los mejores generadores de imágenes de IA actuales y funcionan en dos etapas principales. Primero, un codificador (las gafas de lectura del modelo) convierte una imagen real en una descripción matemática compacta. Luego, un desruidizador (el motor creativo) construye gradualmente una nueva imagen a partir del ruido, guiado por esa descripción.

El equipo de Apple descubrió que el problema llega en ambas etapas. Los codificadores preentrenados pueden pasar representaciones distorsionadas al desruidizador antes de que siquiera comience, y el desruidizador mismo puede desarrollar sus propios tokens atípicos mientras se ejecuta, especialmente en sus capas intermedias. Cubrimos la pregunta más amplia de por qué los modelos de imágenes de Apple alucinar en nuestra historia del 3 de agosto, y este nuevo hallazgo añade una explicación estructural a esa imagen.

¿Afecta esto a las imágenes que la gente realmente usa?

Potencialmente sí, aunque el documento describe un hallazgo de investigación, no un fallo en un producto distribuido.

Cuando la atención se desvía hacia tokens sin sentido, la imagen final puede alejarse de lo que el usuario pidió. Se pierden detalles. La coherencia sufre. Los indicaciones complejos dan a los tokens atípicos más oportunidad para causar problemas. Los investigadores también estudiaron técnicas de supresión, y su trabajo apunta hacia soluciones prácticas que podrían incorporarse en modelos futuros.

Para cualquiera que use herramientas de imágenes de IA hoy en día, no se requiere ninguna acción. Este es trabajo fundamental, el tipo en el que los ingenieros se basan al diseñar la próxima generación de herramientas.

¿Qué sucede después?

No se han anunciado cambios de producto ni actualizaciones de modelos públicos.

Lo que hace que este trabajo importe es que traslada un problema conocido de una clase de modelo más antigua a un territorio más nuevo. Los investigadores habían detectado tokens atípicos en Vision Transformers (sistemas de IA entrenados para reconocer, en lugar de generar, imágenes) antes, pero su papel en sistemas generativos ha sido poco estudiado hasta ahora. Estudiar la enfermedad cuidadosamente es el primer paso necesario antes de curarla. Si deseas información sobre cómo funcionan estos generadores a nivel de arquitectura, nuestra guía en lenguaje simple del 23 de julio es un buen lugar para empezar.

El patrón aquí vale la pena observar: el brazo de investigación de Apple sigue publicando trabajo que identifica límites estructurales en la IA de imágenes en lugar de simplemente distribuir nuevas capacidades. Eso es o honestidad científica admirable o una señal de que estos problemas son más difíciles de reparar de lo que parecen. Probablemente ambos.

Preguntas frecuentes

¿Afectará esto a las herramientas de imágenes de IA que ya uso?

No directa ni inmediatamente. Esta es investigación fundamental, no una actualización de producto. Los hallazgos probablemente informarán cómo se diseñan y entrenan los futuros modelos de generación de imágenes.

¿Qué es un Diffusion Transformer en términos simples?

Es el tipo de arquitectura de IA, o estructura interna, utilizado por muchas herramientas modernas de generación de imágenes. Comenzando con ruido aleatorio, gradualmente da forma a ese ruido en una imagen coherente, guiada por tu indicación de texto.