Forscher entwickeln Test, um zu prüfen, ob KI ein 16-Minuten-Video wirklich zusammenfassen kann
Ein neues Benchmark namens LVSum zeigt, wie schlecht heutige KI-Videotools den Überblick über den zeitlichen Ablauf in langen Aufzeichnungen verlieren.
Wichtigste Punkte
- Apple ML Research stellte LVSum, ein Benchmark zum Testen, wie gut KI lange Videos zusammenfasst, in einem Forschungspapier aus dem Jahr 2024 vor.
- LVSum enthält 72 Videos aus 13 Fachbereichen mit einer durchschnittlichen Länge von 16 Minuten pro Video.
- Jedes Video im Datensatz wird von bis zu 10 von Menschen geschriebenen Zusammenfassungen mit spezifischen Zeitstempeln begleitet, was bedeutet, dass die KI nicht nur sagen muss, was passiert ist, sondern auch wann.
- Aktuelle multimodale Large Language Models, KI-Systeme, die gleichzeitig Video lesen und anschauen können, haben Schwierigkeiten, Ereignisse in der richtigen Reihenfolge über lange Aufzeichnungen hinweg zu bewahren.
Stellen Sie sich vor, Sie bitten einen Kollegen, eine 16-minütige Aufzeichnung eines Meetings zusammenzufassen. Sie möchten, dass er Ihnen sagt, welche Entscheidungen getroffen wurden, ja, aber auch wann der entscheidende Moment stattfand, damit Sie direkt dort hinspulen können. Diese grundlegende Fähigkeit erweist sich überraschenderweise für KI als sehr schwierig.
Dies ist die Lücke, die LVSum messen sollte.
Das Benchmark, das in einem Papier von Apple ML Research beschrieben wird, unterzieht KI-Systeme einem strukturierten Test. Forscher sammelten 72 Videos aus 13 verschiedenen Fachbereichen, von Kochanleitungen bis zu Gerichtsverfahren. Jedes Video dauert durchschnittlich etwa 16 Minuten. Menschliche Annotierer schrieben dann bis zu 10 separate Zusammenfassungen pro Video, von denen jede an bestimmte Zeitstempel in der Aufzeichnung gebunden ist.
Die Zeitstempel sind das ganze Ziel. Eine Zusammenfassung, die sagt „der Sprecher hat den Vertrag besprochen", ist fast nutzlos, wenn Sie diesen Moment schnell finden müssen. LVSum fragt, ob eine KI es besser machen kann und so genannte zeitlich verankerte Zusammenfassungen erzeugt, was Text bedeutet, der Ihnen sowohl den Inhalt als auch genau den Zeitpunkt mitteilt.
Die getesteten Modelle sind multimodale Large Language Models, KI-Systeme, die dafür ausgebildet sind, Video, Bilder und Text zusammen zu verarbeiten, anstatt nur Text. Denken Sie an sie als die Technologie hinter Tools, die eine Aufzeichnung anschauen und beschreiben können. Bestehende Systeme dieser Art handhaben kurze Clips bereits einigermaßen gut. Lange Videos sind ein ganz anderes Problem.
Über 16 Minuten hinweg muss ein Modell sehr viel im Speicher halten und die Abfolge der Ereignisse korrekt beibehalten. Die Forschung ergab, dass die Aufrechterhaltung dessen, was das Papier „zeitliche Treue" nennt, also ein genaues Verständnis dafür, was vor was kam, der Ort ist, an dem aktuelle Systeme am deutlichsten zusammenbrechen.
Was bedeutet das für gewöhnliche Nutzer?
Wenn Sie derzeit ein KI-Tool verwenden, um eine lange Meeting-Aufzeichnung, einen Vortrag oder eine Dokumentation zusammenzufassen, sollten Sie die Ausgabe als grobe Richtlinie betrachten und nicht als zuverlässiges Dokument. Die KI kann die Fakten im Großen und Ganzen richtig verstanden haben, platziert sie aber möglicherweise in der falschen Reihenfolge oder übersieht Zeitsignale ganz. Überprüfen Sie immer anhand des Originals, bevor Sie eine von KI generierte Zusammenfassung mit Kollegen oder Kunden teilen.
LVSum löst das Problem nicht selbst. Es ist ein Messstab, eine standardisierte Methode für Forscher, um zu vergleichen, wie verschiedene KI-Systeme beim gleichen Satz von Videos abschneiden. Benchmarks wie dieser treiben typischerweise Verbesserungen voran: Sobald es einen vereinbarten Test gibt, können Labore deutlich sehen, wo ihre Modelle zu kurz kommen, und auf ein spezifisches Ziel hinarbeiten.
Der Datensatz umfasst absichtlich 13 Domänen, denn eine KI, die nur Kochvideos gut zusammenfasst, ist nicht sehr praktisch. Vielfalt im Test zwingt Modelle zu verallgemeinern.
Das Papier vermeidet es, zu nennen, welche kommerziellen Produkte evaluiert wurden. Dieses Detail und die vollständige Bewertungsaufschlüsselung befinden sich in der vollständigen Forschungsarbeit.
