Por qué la IA se queda atrapada a mitad de una tarea difícil (y una nueva solución de Apple)

Puntos clave

• Apple ML Research publicó un estudio que muestra que los grandes modelos de lenguaje actuales no logran completar de manera confiable tareas largas de razonamiento multietapa, incluso cuando se les proporciona un plan claro a seguir.
• El fracaso no es aleatorio: un pequeño número de pasos "difíciles" causan casi todos los errores, y una vez que la IA falla en uno de ellos, rara vez se recupera.
• Dividir una tarea en demasiados pasos minúsculos empeora el problema, porque no hay espacio para corregir un error antes de que el siguiente paso lo fije permanentemente.
• Una nueva técnica llamada LEAD (Lookahead-Enhanced Atomic Decomposition) añade una verificación de avance breve después de cada paso para detectar errores antes de que se vuelvan permanentes.
• La investigación se probó en tareas de rompecabezas controladas, por lo que los resultados del mundo real requerirán más estudio.

Imagina que le pides a un asistente muy capaz que monte muebles de cartón plano siguiendo una larga hoja de instrucciones. Es perspicaz y está motivado, con el plan completo frente a él. Pero hay tres pasos que son genuinamente complicados. Fallar en uno y cada paso posterior se construye sobre un marco torcido. Eventualmente, todo es irrecuperable.

Ese es, en términos generales, el problema que Apple ML Research ha puesto bajo el microscopio. Es el tercer artículo de Apple ML Research que AI2Day ha cubierto este mes, siguiendo trabajos sobre pruebas virtuales de aplicaciones y entornos de formación de aplicaciones simuladas.

¿Qué está saliendo mal exactamente?

Los grandes modelos de lenguaje, los sistemas de IA detrás de chatbots como ChatGPT y Claude, luchan por completar cadenas largas de razonamiento sin cometer errores. Darles una estrategia de alto nivel ayuda, pero no resuelve el problema completamente.

El equipo de Apple encontró algo específico. Los errores no se propagan uniformemente en una tarea. Un puñado de pasos es responsable de casi todos los fracasos. Fallar en uno de esos pasos "difíciles" y la IA no tiene forma de recuperarse.

El instinto entre los investigadores ha sido dividir tareas en piezas más pequeñas para que la IA solo tenga que pensar en una cosa minúscula a la vez. Tiene sentido. Pero el estudio muestra que ir demasiado lejos crea lo que los investigadores llaman un "cuello de botella sin recuperación": cada pieza es tan pequeña y está tan rígidamente vinculada a la siguiente que un solo movimiento en falso se cementa inmediatamente en la cadena.

¿Qué hace realmente LEAD?

La solución se llama LEAD, abreviatura de Lookahead-Enhanced Atomic Decomposition. Mantiene el enfoque de pasos pequeños pero añade una verificación de avance breve después de cada paso.

El sistema echa un vistazo a unos cuantos pasos adelante para preguntarse si esta ruta aún conduce a algo sensato. Si no es así, se ajusta antes de que el error se vuelva permanente. Piénsalo como si la IA escaneara brevemente los siguientes cuadrados del tablero antes de colocar su pieza.

Los investigadores probaron LEAD en rompecabezas algorítmicos, tareas controladas con respuestas claramente correctas e incorrectas, lo que facilitaba medir exactamente dónde fallaban las cosas.

¿Debería actuar alguien al respecto ahora?

No todavía. Este es un artículo de investigación, no una actualización de producto. Las pruebas utilizaron rompecabezas estructurados, y el rendimiento en rompecabezas no siempre se traduce limpiamente en las tareas desordenadas y abiertas que los usuarios reales plantean a los asistentes de IA.

Lo que sí nos dice es que la próxima ola de mejoras en IA puede venir no de hacer modelos más grandes, sino de hacerlos mejores en verificar su propio trabajo a mitad de una tarea. Eso importa para cualquiera que pida a una IA que maneje algo con muchos pasos: escribir un informe largo o depurar código son los casos obvios, pero la planificación de proyectos está igualmente expuesta.

Estate atento a si esta técnica, o algo parecido, aparece en futuras actualizaciones de modelos de los grandes laboratorios.

Preguntas frecuentes

¿Afecta esto a las herramientas de IA que uso hoy?

No directamente. LEAD es una técnica de investigación, no una característica enviada aún en ningún producto de consumidor. Las herramientas actuales aún sufren del cuello de botella que describe el artículo, especialmente en tareas largas o complejas.

¿Por qué probar en rompecabezas en lugar de tareas reales?

Los rompecabezas tienen respuestas definitivamente correctas, lo que permite a los investigadores medir exactamente dónde y con qué frecuencia la IA falla. Las tareas del mundo real son más difíciles de calificar con precisión, por lo que los rompecabezas son un primer campo de prueba útil.