La IA Aprende a Pensar en Imágenes Internamente, Reduciendo el Tiempo de Análisis de Video sin Perder Precisión

Puntos clave

• Apple ML Research publicó un nuevo marco de entrenamiento de IA llamado Internalized Visual Thinking (IVT) para razonar sobre video.
• IVT elimina la necesidad de generar imágenes intermedias durante el análisis, que era un cuello de botella importante en enfoques anteriores.
• El método entrena modelos para hacer razonamiento visual en silencio, dentro del propio modelo, utilizando solo texto como resultado final.
• Este enfoque apunta al razonamiento de video "proactivo", lo que significa que la IA anticipa qué sucede después en lugar de simplemente describir lo que ve.

¿Qué es esto, en lenguaje sencillo?

Piensa en cómo ves una repetición de fútbol e imaginas mentalmente dónde irá el balón después. No dibujas un diagrama; razonas visualmente en tu cabeza. IVT enseña a una IA a hacer lo mismo.

Los sistemas anteriores utilizaban una técnica llamada Visual Chain-of-Thought, un proceso donde la IA razona paso a paso y realmente genera imágenes intermedias en el camino, casi como un estudiante que dibuja esbozos antes de escribir una respuesta. Esas imágenes intermedias son útiles, pero producirlas es lento y costoso, especialmente cuando se trabaja a través de un video fotograma por fotograma.

Apple ML Research describe IVT como un marco de post-entrenamiento, lo que significa que se aplica después de que un modelo ya está construido, como un curso de perfeccionamiento. Enseña al modelo a internalizar ese trabajo de cuaderno visual durante el entrenamiento, para que cuando se implemente, omita generar esas imágenes completamente y razone directamente hacia una respuesta de texto.

¿Por qué el video hace que esto sea particularmente complicado?

El video es más difícil que una sola imagen por una razón simple: el tiempo. Una IA que analiza un clip de video necesita entender no solo qué hay en cada fotograma, sino cómo se mueven los objetos y qué es probable que suceda después.

Esa última parte, predecir qué viene después, es lo que los investigadores llaman razonamiento proactivo. Es la diferencia entre una IA que dice "un jugador está corriendo" y una que dice "ese jugador está a punto de recibir el balón en la esquina inferior izquierda". El análisis deportivo y los vehículos autónomos necesitan exactamente este tipo de pensamiento prospectivo, al igual que nuestro hallazgo anterior de que las herramientas de video de IA actuales pierden la pista de cuándo ocurren las cosas en grabaciones largas.

La ralentización causada por la generación de imágenes intermedias durante ese proceso no es un inconveniente menor. Es el tipo de retraso que hace que las aplicaciones en tiempo real sean impracticables.

¿Qué significa esto para la tecnología cotidiana?

La IA de video más rápida e inteligente importa en lugares donde la gente común lo notará. Los PNJ de videojuegos podrían leer una escena y reaccionar al movimiento del jugador de manera mucho más convincente. Las herramientas de transmisión y el software de entrenamiento podrían ofrecer desgloses tácticos casi instantáneos. En cualquier aplicación que observe y comprenda un clip de video, los tiempos de espera deberían disminuir.

IVT no cambia lo que sabe la IA. Cambia la eficiencia con la que piensa, que es la parte que determina si una tecnología es utilizable en el mundo real o está atrapada en un laboratorio de investigación. Apple ML Research tiene experiencia aquí: cubrimos el trabajo del equipo para encontrar patrones ocultos detrás de errores de detección de objetos de IA en julio pasado.

Los detalles disponibles hasta ahora se centran en el método de entrenamiento en lugar de un lanzamiento de producto específico. La adopción más amplia dependerá de la facilidad con que otros equipos puedan aplicar el enfoque a sus propios modelos.

Preguntas frecuentes

¿Reemplaza esto las herramientas de IA de video existentes?

No inmediatamente. IVT es una técnica de entrenamiento que otros equipos tendrían que aplicar a sus propios modelos, por lo que es un componente básico en lugar de un producto terminado que puedas usar hoy.

¿Esto es solo útil para videojuegos y deportes?

No. Cualquier sistema que necesite entender video en tiempo real, incluidas cámaras de seguridad y funciones de videollamadas, podría beneficiarse del razonamiento visual más rápido y preciso.