Apple-Forscher entdecken intelligentere Methode zur deutlich schnelleren KI-Videogenerierung

Wichtigste Punkte

• Apple ML Research veröffentlichte eine Arbeit, die eine Methode namens Calibrated Sparse Attention beschreibt und die KI-Textvideo-Generierung beschleunigt.
• Die Forscher stellten fest, dass ein großer Anteil der internen Berechnungen in aktuellen Videomodellen Ergebnisse nahe bei Null produziert und sicher übersprungen werden kann.
• Die Übersprungsmuster wiederholen sich zuverlässig bei verschiedenen Videoanfragen, sodass das System sie im Voraus erlernen kann, anstatt sie jedes Mal neu zu entdecken.
• Das Streichen dieser redundanten Berechnungen verkürzt die Verarbeitungszeit, ohne die Qualität des ausgegebenen Videos sichtbar zu verändern.

Ein kurzes Video aus einer Textaufforderung zu generieren klingt einfach. Geben Sie „eine Katze, die durch Herbstlaub geht" ein, und das Modell erstellt jeden Frame, Pixel für Pixel. In der Praxis dauert es lange, weil die KI enorme Mengen an Informationen darüber verwalten muss, wie sich jeder Teil eines jeden Frames zu jedem anderen Teil verhält.

Der technische Name für diesen Verwaltungsakt ist räumlich-zeitliche Aufmerksamkeit, was bedeutet, dass das Modell überprüft, wie sich jeder kleine Patch des Videos zu jedem anderen Patch sowohl räumlich als auch zeitlich verbindet. Diese Überprüfungen sind kostspielig. Moderne Videomodelle führen sie Milliarden Mal pro Generierung durch.

Forscher bei Apple ML Research entdeckten etwas Nützliches, das in diesen Berechnungen verborgen war. Ein erheblicher Anteil der Verbindungen zwischen Patches weist Werte so nah bei Null auf, dass sie das Endbild praktisch nicht verändern. Sie zu überspringen sollte keine Auswirkungen haben.

Noch besser: Diese niedrig bewerteten Verbindungen erscheinen tendenziell an den gleichen Stellen, unabhängig davon, was der Benutzer eingibt. Die Muster sind konsistent und wiederholbar.

Diese Konsistenz ist die Schlüsselerkenntnis. Da sich die übersprungswürdigen Verbindungen über verschiedene Aufforderungen hinweg wiederholen, kann das System im Voraus kalibriert werden: Führen Sie das Modell auf einem kleinen Referenzsatz von Videos aus, erstellen Sie eine Karte der Verbindungen, die konstant nahe bei Null bewerten, und integrieren Sie diese Karte dann ein. Ab diesem Punkt weiß das Modell im Voraus, welche Berechnungen übersprungen werden, ohne es jedes Mal überprüfen zu müssen.

Die Technik funktioniert auf zwei Ebenen. Einzelne Patches mit Verbindungen nahe bei Null werden übersprungen. Genauso wie kleine lokale Gruppen von Patches, sogenannte Token-Blöcke, wenn die Verbindungen der gesamten Gruppe zusammen vernachlässigbar sind.

Werden die Videos schlechter aussehen?

Nein, zumindest nicht auf eine Weise, die für den Zuschauer sichtbar ist. Da die übersprungenen Berechnungen bereits fast nichts zum Endbild beitrugen, ändert das Entfernen nicht, was auf dem Bildschirm angezeigt wird. Die Forscher beschreiben die Auswirkung auf die Ausgabequalität als vernachlässigbar.

Für gewöhnliche Menschen ist dies wichtig, da es beeinflusst, wie schnell KI-Videotools auf eine Anfrage reagieren können. Schnellere Generierung bedeutet niedrigere Rechenkosten für die Unternehmen, die diese Modelle betreiben, und möglicherweise schnellere Ergebnisse für Benutzer von Verbrauchervideotools, die darauf aufbauen. Es könnte auch praktischer sein, fähige Videomodelle auf weniger leistungsstarker Hardware auszuführen.

Der Ansatz erfordert keine vollständige Umschulung des zugrunde liegenden Modells, was es Entwicklern erleichtert, ihn in bestehende Systeme zu integrieren. Das ist ein praktischer Vorteil gegenüber vielen Beschleunigungsmethoden, die teure Umbauten erfordern.

Apple hat kein auf dieser Forschung basierendes Produkt angekündigt, aber die Technik deutet auf KI-Videotools hin, die kostengünstiger zu betreiben und schneller zu reagieren sind.