Por Que a IA Fica Presa no Meio de Uma Tarefa Difícil (e Uma Nova Solução da Apple)
Investigadores descobriram que dividir um problema complexo em demasiados passos pequenos pode aprisionarem a IA num erro do qual não consegue escapar. Um novo método chamado LEAD acrescenta uma verificação de antecipação breve que ajuda a recuperar.
Pontos principais
- A Apple ML Research publicou um estudo mostrando que os atuais modelos de linguagem de grande dimensão falham ao completar tarefas longas de raciocínio em múltiplas etapas de forma fiável, mesmo quando recebem um plano claro a seguir.
- A falha não é aleatória: um pequeno número de passos "difíceis" causa quase todos os erros, e uma vez que a IA escorrega num deles, raramente consegue recuperar.
- Dividir uma tarefa em demasiados passos pequenos piora o problema, porque não há espaço para corrigir um erro antes de o próximo passo o tornar permanente.
- Uma nova técnica chamada LEAD (Decomposição Atómica Melhorada com Antecipação) acrescenta uma verificação de antecipação breve após cada passo para detetar erros antes de se tornarem permanentes.
- A investigação foi testada em tarefas de puzzle controladas, pelo que os resultados do mundo real necessitarão de estudos adicionais.
Imagine pedir a um assistente muito capaz para montar móveis de prateleira seguindo uma folha de instruções com 40 passos. Está atento, motivado e tem o plano completo. Mas há três passos que são genuinamente complicados. Se falhar um deles, cada passo posterior baseia-se numa estrutura inclinada. No passo 35, o projeto inteiro é irrecuperável.
É, grosso modo, o problema que a Apple ML Research colocou sob microscópio.
O que está realmente a correr mal?
Os modelos de linguagem de grande dimensão, os sistemas de IA por trás de chatbots como ChatGPT e Claude, têm dificuldade em completar longas cadeias de raciocínio sem cometer erros. Dar-lhes uma estratégia de alto nível ajuda, mas não resolve completamente o problema.
A equipa da Apple descobriu algo específico. Os erros não se distribuem uniformemente por uma tarefa. Um punhado de passos é responsável por quase todas as falhas. Se falhar um desses passos "difíceis", a IA não tem forma de se recuperar.
O instinto entre investigadores tem sido dividir tarefas em pedaços cada vez mais pequenos para que a IA apenas tenha de pensar numa coisa pequenina de cada vez. Faz sentido. Mas o estudo mostra que ir demasiado longe cria o que os investigadores chamam um "gargalo de não recuperação": cada pedaço é tão pequeno e tão rigidamente ligado ao seguinte que um único erro é imediatamente consolidado na cadeia.
O que é que LEAD realmente faz?
A solução chama-se LEAD, abreviatura de Decomposição Atómica Melhorada com Antecipação. Mantém a abordagem de passos pequenos mas acrescenta uma verificação de antecipação breve após cada passo.
Antes de se comprometer com um movimento, o sistema espreita alguns passos à frente para perguntar: este caminho ainda leva a algum lado sensato? Se não, pode ajustar antes de o erro se tornar permanente. Pense nisto como a IA a escanear brevemente os próximos quadrados do tabuleiro antes de colocar a sua peça.
Os investigadores testaram LEAD em puzzles algorítmicos, tarefas controladas com respostas claramente certas ou erradas, o que facilitou medir exatamente onde as coisas correram mal.
Alguém deve agir sobre isto agora?
Ainda não. Isto é um artigo de investigação, não uma atualização de produto. Os testes utilizaram puzzles estruturados, e o desempenho em puzzles nem sempre se traduz de forma clara para as tarefas confusas e abertas que os utilizadores reais colocam aos assistentes de IA.
O que nos diz é que a próxima onda de melhorias de IA pode vir não de tornar os modelos maiores, mas de os tornar melhores a verificar o seu próprio trabalho durante a tarefa. Isto é importante para quem pede a IA que trate de algo com muitos passos: escrever um relatório longo, depurar código ou planear um projeto.
Fique atento para ver se esta técnica (ou algo semelhante) aparece em futuras atualizações de modelos dos laboratórios principais.
Perguntas frequentes
Isto afeta as ferramentas de IA que utilizo hoje?
Não diretamente. LEAD é uma técnica de investigação, ainda não é uma funcionalidade incluída em nenhum produto de consumo. As ferramentas atuais continuam a sofrer do gargalo que o artigo descreve, especialmente em tarefas longas ou complexas.
Por que testar em puzzles em vez de tarefas reais?
Os puzzles têm respostas definitivamente certas, o que permite aos investigadores medir exatamente onde e com que frequência a IA falha. As tarefas do mundo real são mais difíceis de pontuar precisamente, pelo que os puzzles são um primeiro campo de testes útil.
