Por Que os Modelos de IA Continuam a Inventar Detalhes em Imagens, e o Que os Investigadores da Apple Estão a Fazer Sobre Isto

Pontos-chave

• Os modelos multimodais de linguagem de grande dimensão, sistemas de IA que processam imagens e texto, frequentemente "alucinam" gerando descrições que contradizem o que realmente está numa imagem.
• O alinhamento de preferências, um método de treino que ensina um modelo a preferir respostas precisas em relação a respostas que soam plausíveis, é bem estabelecido para IA apenas texto mas muito menos estudado para modelos de compreensão de imagens.
• A Apple ML Research publicou um estudo abrangente examinando como as técnicas de alinhamento afectam modelos de linguagem de imagens, abrangendo o que funciona, o que não funciona e porquê.
• Os resultados importam para além dos laboratórios de investigação: estes modelos alimentam funcionalidades como legendagem de imagens, pesquisa visual e ferramentas de acessibilidade que milhões de pessoas utilizam diariamente.

Peça a uma IA para descrever uma foto e ela geralmente acerta na maioria das coisas. Mas às vezes adiciona com confiança objectos, pessoas ou texto que simplesmente não estão na imagem. Os investigadores chamam a isto alucinação, e é um problema conhecido e persistente com uma classe de sistemas de IA chamados modelos multimodais de linguagem de grande dimensão, ou MLLMs, que são modelos de IA treinados para compreender simultaneamente imagens e linguagem escrita.

Para um chatbot apenas texto, a alucinação significa afirmar um facto errado. Para um modelo de imagens, pode significar algo mais desconcertante: descrever um carro vermelho como azul, inventar um sinal numa parede de loja, ou afirmar que uma pessoa está a sorrir quando não está. O modelo não está a mentir, apenas não tem um ponto de ancoragem fiável com a imagem à sua frente.

Por que é que isto continua a acontecer?

Os modelos de IA apenas texto beneficiaram enormemente de uma etapa de treino chamada alinhamento de preferências. Em resumo: após o treino inicial, os investigadores mostram ao modelo pares de respostas e ensinam-no a preferir a mais precisa e útil. Ao longo de milhares de exemplos, o modelo aprende a auto-corrigir-se.

O problema é que esta etapa de correcção foi muito menos estudada para modelos que lidam com imagens. Um modelo treinado principalmente em texto desenvolve instintos fortes sobre como as frases devem soar. Quando adiciona imagens, esses instintos não se transferem automaticamente para verificação de factos visuais.

O que descobriu o estudo da Apple?

A investigação, publicada pela Apple ML Research e inicialmente descoberta numa revisão de pré-impressão mais ampla, propôs-se mapear o problema sistematicamente. A equipa examinou como diferentes estratégias de alinhamento de preferências alteram o comportamento dos modelos de linguagem de imagens, testando quais as abordagens que reduzem alucinação e quais ficam aquém.

Uma percepção-chave que o estudo evidencia é que o alinhamento para MLLMs deve considerar uma segunda dimensão de precisão: não apenas "esta frase é factuamente correcta?" mas "esta frase corresponde ao que está na imagem?" Estas são questões diferentes, e os métodos de treino construídos apenas para texto não lidam automaticamente com a verificação visual.

O estudo é posicionado como um recurso para a comunidade de investigação mais ampla, mapeando o que é compreendido, o que permanece em aberto e onde as direcções mais promissoras residem.

O que significa isto para utilizadores comuns?

Se utiliza uma aplicação que lê descrições de imagens, marca fotos automaticamente ou responde a perguntas sobre imagens que carrega, está a confiar nesta tecnologia. As alucinações nesses contextos são mais do que uma curiosidade: uma descrição errada numa ferramenta de acessibilidade pode realmente enganar um utilizador com deficiência visual.

O treino de alinhamento melhorado é um dos caminhos mais claros para modelos que se mantêm honestos sobre o que realmente vêem. O progresso aqui não requer que os utilizadores façam nada diferente. Acontece dentro do processo de treino, muito antes de um produto chegar ao seu telemóvel.

Perguntas frequentes

A alucinação é o mesmo problema em modelos de imagens que em chatbots apenas texto?

Não exactamente. Os chatbots apenas texto alucinam afirmando factos errados. Os modelos de imagens podem fazer isso também, mas podem também contradizer a evidência visual bem à sua frente, descrevendo coisas que não estão lá ou perdendo coisas que claramente estão.

Este estudo muda algum produto que posso utilizar agora?

Não. Esta é investigação fundamental, não um anúncio de produto. O seu valor reside em dar a outros investigadores um mapa mais claro do problema para que futuros modelos, em muitas empresas, possam ser construídos com treino de alinhamento mais forte desde o início.