Investigadores de Apple Encontraron una Forma Más Inteligente de Acelerar la Generación de Vídeo con IA

Puntos clave

• Apple ML Research publicó un artículo describiendo la atención dispersa calibrada, un método que acelera la generación de vídeo a partir de texto con IA.
• Una gran parte de los cálculos internos dentro de los modelos de vídeo actuales producen resultados cercanos a cero y pueden omitirse sin problemas.
• Esos patrones de omisión se repiten de forma fiable en diferentes solicitudes de vídeo, por lo que el sistema puede aprenderlos de antemano.
• Eliminar cálculos redundantes reduce el tiempo de procesamiento sin cambiar visiblemente la calidad de salida.

Generar un vídeo corto a partir de una indicación de texto suena simple. Escribe "un gato caminando entre hojas de otoño" y el modelo construye cada fotograma, píxel a píxel. En la práctica toma mucho tiempo, porque la IA tiene que manejar enormes cantidades de información sobre cómo cada parte de cada fotograma se relaciona con todas las demás.

El nombre técnico de ese acto de malabarismo es atención espacio-temporal: el modelo verifica cómo cada pequeño parche de vídeo se conecta con todos los demás parches, a través del espacio y el tiempo. Esas comprobaciones son costosas. Los modelos de vídeo modernos las ejecutan miles de millones de veces por generación.

Los investigadores de Apple ML Research encontraron algo útil enterrado en esos cálculos. Una fracción significativa de conexiones de parches obtiene puntuaciones tan cercanas a cero que cambian la imagen final esencialmente en nada, por lo que omitirlas no importa.

Mejor aún, esas conexiones con puntuaciones bajas tienden a aparecer en los mismos lugares independientemente de lo que escriba el usuario. Como los patrones se repiten en diferentes indicaciones, el sistema puede calibrarse de antemano: ejecutar el modelo en un pequeño conjunto de referencia de vídeos, mapear qué conexiones obtienen consistentemente puntuaciones cercanas a cero, luego incorporar ese mapa. El modelo entonces sabe de antemano qué cálculos omitir, sin verificar cada vez.

La técnica funciona en dos niveles. Los parches individuales con conexiones cercanas a cero se omiten, así como pequeños grupos locales de parches, llamados bloques de token, cuando las conexiones de todo el grupo son negligibles en conjunto.

¿Se verán peor los vídeos?

No, al menos no de ninguna forma visible para el espectador. Porque los cálculos omitidos ya estaban contribuyendo casi nada a la imagen final, eliminarlos no cambia lo que aparece en pantalla. Los investigadores describen el efecto en la calidad de salida como negligible.

Para la gente común esto importa porque afecta qué tan rápido responden las herramientas de vídeo con IA a una solicitud. La generación más rápida significa costos informáticos más bajos para las empresas que ejecutan estos modelos, y potencialmente resultados más rápidos para los usuarios de herramientas de vídeo para consumidores construidas sobre ellas. También podría hacer que los modelos de vídeo capaces sean prácticos en hardware menos potente.

Este enfoque no requiere reentrenar el modelo subyacente desde cero, lo que facilita que los desarrolladores lo integren en sistemas existentes. Esa es una ventaja práctica sobre los métodos de aceleración que demandan reconstrucciones costosas. Nuestro informe de julio sobre la herramienta de ajuste fino de código abierto de NVIDIA y Hugging Face cubrió el empuje paralelo para hacer más accesible el entrenamiento del modelo de vídeo.

Este es también el segundo artículo de ML Research de Apple sobre eficiencia en IA generativa en menos de un mes: reportamos el 15 de julio cómo una única capa adaptada afiló la generación de imágenes sin reentrenar el modelo base tampoco.

Ningún anuncio de producto acompaña esta investigación. El tema a vigilar es si el equilibrio de calidad se mantiene en resoluciones reales de consumidor y duraciones de clip más largas, no solo en los resultados controlados del artículo.