Warum KI-Bildmodelle immer noch erfundene Details hinzufügen – und was Apples Forscher dagegen tun

Wichtigste Punkte

• Multimodale große Sprachmodelle, KI-Systeme, die sowohl Bilder als auch Text verarbeiten, „halluzinieren" häufig, indem sie Beschreibungen generieren, die dem widersprechen, was tatsächlich auf einem Bild zu sehen ist.
• Preference Alignment, eine Trainingsmethode, die ein Modell lehrt, genaue Antworten gegenüber plausibel klingenden zu bevorzugen, ist für textbasierte KI etabliert, wurde aber für Bildverständnismodelle viel weniger erforscht.
• Apple ML Research veröffentlichte eine umfassende Studie, die untersucht, wie Alignment-Techniken Bild-Sprache-Modelle beeinflussen, mit Analysen zu dem, was funktioniert, was nicht und warum.
• Die Ergebnisse sind bedeutsam über Forschungslabore hinaus: Diese Modelle ermöglichen Funktionen wie Bildunterschriften, visuelle Suche und Barrierefreiheitswerkzeuge, die täglich Millionen nutzen.

Fordert man eine KI auf, ein Foto zu beschreiben, wird sie meist das meiste richtig machen. Aber manchmal fügt sie selbstbewusst Objekte, Personen oder Text hinzu, die einfach nicht auf dem Bild zu sehen sind. Forscher nennen dies Halluzination, und es ist ein bekanntes, hartnäckiges Problem bei einer Klasse von KI-Systemen, den sogenannten multimodalen großen Sprachmodellen oder MLLMs – KI-Modelle, die trainiert wurden, um sowohl Bilder als auch geschriebene Sprache gleichzeitig zu verstehen.

Bei einem textgestützten Chatbot bedeutet Halluzination, eine falsche Tatsache zu behaupten. Bei einem Bildmodell kann es etwas Desorientierenderes bedeuten: ein Auto von rot als blau zu beschreiben, ein erfundenes Schild an einer Ladenwand zu erfinden oder zu behaupten, dass eine Person lächelt, wenn dies nicht der Fall ist. Das Modell lügt nicht, es hat einfach keinen zuverlässigen Bezug zum Bild vor ihm.

Warum passiert dies immer wieder?

Textgestützte KI-Modelle haben enorm von einem Trainingsschritt namens Preference Alignment profitiert. Kurz gesagt: Nach dem ursprünglichen Training zeigen Forscher dem Modell Antwortpaare und lehren es, die genauere und hilfreicher zu bevorzugen. Nach Tausenden von Beispielen lernt das Modell, sich selbst zu korrigieren.

Das Problem ist, dass dieser Korrekturschritt für Modelle, die mit Bildern umgehen, bisher viel weniger erforscht wurde. Ein Modell, das hauptsächlich auf Text trainiert ist, entwickelt starke Instinkte, wie Sätze klingen sollten. Wenn man Bilder hinzufügt, übertragen sich diese Instinkte nicht automatisch auf die Überprüfung visueller Fakten.

Was hat die Apple-Studie gefunden?

Die Forschung, veröffentlicht von Apple ML Research und zunächst in einer breiteren Vorabveröffentlichung auftauchend, setzte sich zum Ziel, das Problem systematisch zu kartografieren. Das Team untersuchte, wie verschiedene Preference-Alignment-Strategien das Verhalten von Bild-Sprache-Modellen verändern, testete, welche Ansätze Halluzinationen reduzieren und welche zu kurz greifen.

Eine Schlüsselerkenntnis der Studie besteht darin, dass Alignment für MLLMs eine zweite Dimension der Genauigkeit berücksichtigen muss: nicht nur „ist dieser Satz faktisch richtig?" sondern auch „entspricht dieser Satz dem, was auf dem Bild zu sehen ist?" Das sind unterschiedliche Fragen, und Trainingsmethoden, die nur für Text entwickelt wurden, bewältigen die visuelle Überprüfung nicht automatisch.

Die Studie wird als Ressource für die breitere Forschungsgemeinschaft positioniert und kartografiert, was verstanden ist, was offen bleibt und wo die vielversprechendsten Richtungen liegen.

Was bedeutet dies für gewöhnliche Nutzer?

Wenn Sie eine App nutzen, die Bildbeschreibungen vorliest, Fotos automatisch kennzeichnet oder Fragen zu hochgeladenen Bildern beantwortet, verlassen Sie sich auf diese Technologie. Halluzinationen in diesen Kontexten sind mehr als eine Kuriosität: Eine falsche Beschreibung in einem Barrierefreiheitswerkzeug kann einen blinden Nutzer tatsächlich irreführen.

Besseres Alignment-Training ist einer der klarsten Wege zu Modellen, die ehrlich bleiben, was sie tatsächlich sehen. Der Fortschritt hier erfordert von Nutzern nicht, etwas anders zu machen. Er findet während des Trainings statt, lange bevor ein Produkt Ihr Telefon erreicht.

Häufig gestellte Fragen

Ist Halluzination bei Bildmodellen das gleiche Problem wie bei Text-Chatbots?

Nicht ganz. Text-Chatbots halluzinieren, indem sie falsche Fakten behaupten. Bildmodelle können das auch tun, aber sie können auch den visuellen Beweis, der direkt vor ihnen liegt, widersprechen, Dinge beschreiben, die nicht da sind, oder Dinge übersehen, die eindeutig vorhanden sind.

Ändert diese Studie ein Produkt, das ich jetzt nutzen kann?

Nein. Dies ist grundlegende Forschung, keine Produktankündigung. Ihr Wert liegt darin, anderen Forschern eine klarere Kartografie des Problems zu geben, so dass zukünftige Modelle, über viele Unternehmen hinweg, von Anfang an mit stärkerem Alignment-Training entwickelt werden können.