Perché i modelli di IA per immagini continuano a inventare dettagli, e cosa stanno facendo i ricercatori di Apple

Punti chiave

• I modelli linguistici di grandi dimensioni multimodali, sistemi di IA che elaborano sia immagini che testo, frequentemente "allucinano" generando descrizioni che contraddicono ciò che è effettivamente in una foto.
• La preference alignment, un metodo di addestramento che insegna a un modello a preferire risposte accurate rispetto a quelle plausibili, è ben consolidata per l'IA solo testuale ma molto meno studiata per i modelli di comprensione delle immagini.
• Apple ML Research ha pubblicato uno studio completo che esamina come le tecniche di allineamento influiscono sui modelli immagine-linguaggio, coprendo cosa funziona, cosa no e perché.
• I risultati hanno importanza al di là dei laboratori di ricerca: questi modelli alimentano funzionalità come la didascalia delle immagini, la ricerca visiva e gli strumenti di accessibilità che milioni di persone utilizzano ogni giorno.

Chiedi a un'IA di descrivere una foto e di solito otterrà la maggior parte delle cose giuste. Ma a volte aggiunge con sicurezza oggetti, persone o testo che semplicemente non sono nella foto. I ricercatori chiamano questo allucinazione, ed è un problema noto e persistente con una classe di sistemi di IA chiamati modelli linguistici di grandi dimensioni multimodali, o MLLM, che sono modelli di IA addestrati a comprendere sia immagini che linguaggio scritto contemporaneamente.

Per un chatbot solo testuale, l'allucinazione significa affermare un fatto sbagliato. Per un modello di immagini, può significare qualcosa di più sconcertante: descrivere un'auto rossa come blu, inventare un cartello su un muro del negozio, o affermare che una persona sta sorridendo quando non lo è. Il modello non sta mentendo, ha solo un ancoraggio inaffidabile all'immagine di fronte a sé.

Perché questo continua a succedere?

I modelli di IA solo testuali hanno beneficiato enormemente di un passaggio di addestramento chiamato preference alignment. In breve: dopo l'addestramento iniziale, i ricercatori mostrano al modello coppie di risposte e gli insegnano a preferire quella più accurata e utile. In migliaia di esempi, il modello impara ad autocorreggersi.

Il problema è che questo passaggio di correzione è stato studiato molto meno per i modelli che gestiscono le immagini. Un modello addestrato principalmente su testo sviluppa istinti forti su come dovrebbero suonare le frasi. Quando aggiungi le immagini, questi istinti non si trasferiscono automaticamente al controllo dei fatti visivi.

Cosa ha scoperto lo studio di Apple?

La ricerca, pubblicata da Apple ML Research e inizialmente emersa in una revisione preprint più ampia, si è proposta di mappare il problema sistematicamente. Il team ha esaminato come diverse strategie di preference alignment cambiano il comportamento dei modelli immagine-linguaggio, testando quali approcci riducono l'allucinazione e quali rimangono carenti.

Un'intuizione chiave che lo studio sottolinea è che l'allineamento per gli MLLM deve tener conto di una seconda dimensione di accuratezza: non solo "questa frase è fattualmente corretta?" ma "questa frase corrisponde a ciò che è nell'immagine?" Queste sono domande diverse, e i metodi di addestramento costruiti solo per il testo non gestiscono automaticamente il controllo visivo.

Lo studio è posizionato come una risorsa per la comunità di ricerca più ampia, mappando ciò che è noto, ciò che rimane aperto e dove si trovano le direzioni più promettenti.

Cosa significa questo per gli utenti ordinari?

Se utilizzi un'app che legge le descrizioni delle immagini, etichetta automaticamente le foto o risponde a domande su immagini che carichi, stai facendo affidamento su questa tecnologia. Le allucinazioni in questi contesti sono più di una curiosità: una descrizione scorretta in uno strumento di accessibilità può effettivamente fuorviare un utente ipovedente.

Un addestramento di allineamento migliore è uno dei percorsi più chiari verso modelli che rimangono onesti su ciò che effettivamente vedono. I progressi qui non richiedono agli utenti di fare nulla di diverso. Avviene all'interno del processo di addestramento, molto prima che un prodotto raggiunga il tuo telefono.

Domande comuni

L'allucinazione è lo stesso problema nei modelli di immagini come nei chatbot di testo?

Non esattamente. I chatbot di testo allucinano affermando fatti sbagliati. Anche i modelli di immagini possono farlo, ma possono anche contraddire le prove visive davanti a loro, descrivendo cose che non sono lì o perdendo cose che chiaramente lo sono.

Questo studio cambia prodotti che posso usare adesso?

No. Questa è una ricerca fondazionale, non un annuncio di prodotto. Il suo valore risiede nel fornire ai ricercatori una mappa più chiara del problema in modo che i modelli futuri, in molte aziende, possano essere costruiti con un addestramento di allineamento più forte fin dall'inizio.