Apple-Forscher entdecken verborgenen Fehler, der KI-generierte Bilder stillschweigend beschädigen kann

Wichtige Punkte

• Apple ML Research hat einen spezifischen Fehler identifiziert, der Outlier-Token genannt wird und in KI-Bildgenerationssystemen auf Basis des sogenannten Diffusion Transformers auftritt.
• Diese Outlier-Token erscheinen sowohl in dem Teil des Systems, das Bilder liest, als auch in dem Teil, der neue erstellt.
• Das Problem ist in den mittleren Schichten des KI-Modells am schlimmsten, den Verarbeitungsstufen zwischen Eingabe und Endergebnis.
• Ohne Kontrolle können Outlier-Token die Aufmerksamkeit des Modells auf falsche Stellen lenken und die Qualität und Genauigkeit generierter Bilder verringern.

Stellen Sie sich ein Klassenzimmer vor, in dem ein sehr lauter Schüler jede Unterrichtsstunde unterbricht. Selbst wenn dieser Schüler nie etwas Nützliches sagt, schauen die anderen trotzdem hin. Etwas sehr Ähnliches passiert in den KI-Systemen, die Bilder aus Textaufforderungen generieren.

Forscher bei Apple ML Research haben das Problem im Detail identifiziert. Die Störenfriede werden Outlier-Token genannt. Ein Token ist in diesem Zusammenhang ein kleiner Informationsbrocken, den die KI verarbeitet – ungefähr wie ein Wort in einem Satz, aber für Bilder. Ein Outlier-Token ist einer, der einen ungewöhnlich großen numerischen Wert trägt und daher viel wichtiger erscheint, als er tatsächlich ist.

Was genau geht schief?

Outlier-Token stehlen Aufmerksamkeit. Die KI wendet Rechenleistung auf sie auf, obwohl sie sehr wenig echte Informationen über das zu erstellende Bild enthalten.

Die Forschung konzentriert sich auf eine Modellklasse namens Diffusion Transformers oder DiTs. Dies sind die Motoren, die viele der heutigen besten KI-Bildgeneratoren antreiben. Sie funktionieren in zwei Hauptstufen. Zunächst konvertiert ein Encoder (denken Sie an ihn als die Lesebrille des Modells) ein echtes Bild in eine kompakte mathematische Beschreibung. Dann baut ein Denoiser (die kreative Engine) schrittweise ein neues Bild aus Rauschen auf, geleitet von dieser Beschreibung.

Das Apple-Team stellte fest, dass Outlier-Token in beiden Phasen Probleme verursachen. Vortrainierte Encoder können verzerrte Darstellungen an den Denoiser weitergeben, bevor er überhaupt mit seiner Arbeit beginnt. Und der Denoiser selbst kann seine eigenen Outlier-Token entwickeln, während er verarbeitet, besonders tief in seinen mittleren Schichten.

Betrifft dies Bilder, die Menschen tatsächlich verwenden?

Möglicherweise ja, obwohl das Papier eher eine Forschungserkenntnis als einen Produktfehler beschreibt.

Wenn die Aufmerksamkeit des Modells zu bedeutungslosen Token gezogen wird, kann das endgültige Bild von dem abweichen, was der Benutzer angefordert hat. Details gehen verloren. Die Konsistenz leidet. Je komplexer die Aufforderung ist, desto mehr Möglichkeiten haben Outlier-Token, Probleme zu verursachen.

Die gute Nachricht: Die Forscher haben auch Wege untersucht, diese Ausreißer zu unterdrücken. Ihre Arbeit deutet auf praktische Lösungen hin, die in zukünftige Modelle eingebaut werden könnten.

Für jeden, der KI-Bildwerkzeuge heute verwendet, erfordert diese Forschung keine Maßnahmen. Sie liegt auf der Grundlagenebene, die Art von Erkenntnis, die Ingenieure verwenden, um bessere Systeme in der nächsten Generation von Werkzeugen zu entwickeln.

Was kommt als Nächstes?

Die Forschung befindet sich in einem frühen, explorativen Stadium. Es wurden keine Produktänderungen oder öffentliche Modellaktualisierungen angekündigt.

Das Besondere an dieser Arbeit ist, dass sie ein bekanntes Problem aus einer älteren Klasse von KI-Modellen (Vision Transformers für die Bilderkennung) in die neuere Welt der Bildgenerierung überführt. Forscher hatten Outlier-Token in Erkennungsmodellen bereits zuvor entdeckt, aber ihre Rolle in generativen Systemen war bis jetzt weitgehend unerforscht.

Die Krankheit sorgfältig zu untersuchen ist der notwendige erste Schritt, bevor man sie heilt.

Häufig gestellte Fragen

Wird dies KI-Bildwerkzeuge beeinflussen, die ich bereits verwende?

Nicht direkt oder unmittelbar. Dies ist Grundlagenforschung, keine Produktaktualisierung. Die Erkenntnisse werden wahrscheinlich beeinflussen, wie zukünftige Bildgeneratoren entworfen und trainiert werden.

Was ist ein Diffusion Transformer in einfachen Worten?

Es ist die Art der KI-Architektur oder interne Struktur, die von vielen modernen Bildgeneratoren verwendet wird. Sie funktioniert, indem Sie mit zufälligem Rauschen beginnen und es schrittweise zu einem kohärenten Bild gestalten, geleitet durch Ihre Textaufforderung.