Ein neuer Trick senkt die Kosten für die Verkleinerung großer KI-Modelle drastisch
Forscher haben einen Weg gefunden, kleinere und kostengünstigere KI-Modelle aus riesigen Modellen zu trainieren und dabei nur einen Bruchteil des zuvor erforderlichen Speichers zu nutzen. Dies eröffnet die Möglichkeit für Experimente, die früher einen ganzen Computerraum benötigten.
Wichtigste Punkte
- Knowledge Distillation, das Kopieren des Verhaltens eines großen KI-Modells in ein kleineres, erfordert normalerweise Hunderte spezialisierter Chips und sorgfältige Koordination.
- Ein neues Verfahren speichert die Ausgaben des großen Modells einmalig vorab zwischengespeichert, sodass dieses während des Trainings nie wieder ausgeführt werden muss. Dies reduziert den Speicherverbrauch erheblich.
- Eine zweite Technik namens Fused Chunked KL Loss verarbeitet Trainingsdaten in kleinen Scheiben statt alle auf einmal, wodurch der Spitzenspeicher auch bei sehr langen Eingaben nahezu konstant bleibt.
- Bei 32.000 Token Kontextlänge sinkt der Spitzenspeicher von 85,2 Gigabyte auf 5,45 Gigabyte – eine 15,6-fache Reduktion.
- Der vollständige Code für die speichereffiziente Verlustfunktion ist öffentlich auf GitHub verfügbar.
Die größten KI-Modelle der Welt sind nahezu unmöglich groß. Kimi-K3, das früher in diesem Jahr veröffentlicht wurde, hat 2,8 Billionen Parameter (stellen Sie sich Parameter als Millionen winziger Regler innerhalb eines Modells vor, die während des Trainings eingestellt werden) und benötigt grob drei Terabyte spezialisierter Speicher nur zum Laden. Das ist mehr Speicherplatz als zwanzig High-End-Grafikkarten der Konsumentenklasse zusammen.
Da es so teuer ist, Modelle dieser Größe auszuführen, komprimieren Forscher sie routinemäßig in kleinere Versionen, deren Betrieb weniger kostet. Die Standardmethode heißt Knowledge Distillation: Sie führen das große „Lehrer"-Modell auf einem Haufen Text aus, zeichnen auf, wie es antworten würde, und trainieren dann ein kleineres „Schüler"-Modell, um diese Antworten so genau wie möglich zu kopieren. Der Schüler ist dann viel billiger im Betrieb, während er die meiste Qualität des Lehrers behält.
Warum ist dies so schwierig kostengünstig zu machen?
Die Kosten entstehen aus zwei Quellen. Erstens behält der Standardansatz sowohl das Lehrer- als auch das Schülermodell gleichzeitig im Speicher. Zweitens erfordert der Vergleich ihrer Ausgaben die Konstruktion eines riesigen Gitters: eine Reihe für jedes Wort im Vokabular des Modells (oft mehr als 100.000 Wörter), eine Spalte für jede Position in der Eingabe. Multiplizieren Sie diese über einen längeren Text hinweg und Sie füllen schnell jeden verfügbaren Chip.
Als konkretes Beispiel: Ein beliebtes Open-Source-Modell, gpt-oss-120b, hat ein Vokabular von 201.088 Wörtern. Bei einer Sequenzlänge von 32.000 Token (grob der Text eines kurzen Romans) und einer bescheidenen Batch-Größe von vier Beispielen gleichzeitig benötigt der Ausgabe-Tensor des Lehrers allein etwa 50 Gigabyte. Addieren Sie das Schülermodell, Gradienten und alles andere, was der Trainingsprozess benötigt, und ein einzelner Trainingsschritt kann bis zu etwa 250 Gigabyte ansteigen – mehr, als ein H200, einer der leistungsstärksten KI-Chips heute, speichern kann.
Was haben die Forscher geändert?
Zwei Dinge, die zusammen wirken. Beide werden in einem von CompactifAI veröffentlichten Papier beschrieben, das erstmals auf Hugging Face geteilt wurde.
Die erste Änderung ist Offline-Distillation. Anstatt den Lehrer bei jedem Trainingsschritt erneut auszuführen, führen die Forscher ihn einmal aus und speichern nur die 100 wahrscheinlichsten Wortvorhersagen pro Position. Dieser Cache wird auf die Festplatte geschrieben. Der Lehrer wird dann vollständig ausgeschaltet und der Schüler trainiert allein gegen den gespeicherten Cache. Da der Cache über viele verschiedene Experimente hinweg wiederverwendet werden kann, wird der teure Lehrerlauf zu einem einmaligen Kostenfaktor.
Die zweite Änderung ist der Fused Chunked KL Loss. KL-Divergenz ist ein mathematisches Maß dafür, wie unterschiedlich zwei Wahrscheinlichkeitsverteilungen sind – hier, wie unterschiedlich die Wortvorhersagen des Schülers von denen des Lehrers sind. Der Standardweg zur Berechnung erstellt dieses vollständige Vokabular-mal-Sequenz-Gitter auf einmal und speichert alles davon im Speicher. Die neue Methode unterteilt die Sequenz in kleine Chunks, berechnet und verwertet jeden Chunk, bevor sie zum nächsten übergeht, und berechnet bei Bedarf während des Rückwärtspasses neu, anstatt es zu speichern.
| Methode | Spitzenspeicher (8K Kontext) | Iterationszeit |
|---|---|---|
| Online-Distillation | 102,8 GB | 25,9 s |
| Offline, dichter KL | 78,3 GB | 18,5 s |
| Offline, Forward-Chunked KL | 61,8 GB | 18,4 s |
| Offline, Fused Chunked KL | 58,3 GB | 20,2 s |
Alle vier Methoden führen zu nahezu identischen Trainingsergebnissen, was bedeutet, dass der Qualitätsverlust durch die Verwendung der zwischengespeicherten Top-100-Vorhersagen anstelle der vollständigen Lehrerverteilung vernachlässigbar ist.
Spielt dies bei längeren Dokumenten eine Rolle?
Ja, und der Unterschied wächst schnell. Der Speichervorteil des Fused Chunked-Ansatzes ist bescheiden bei 8.000 Token, aber dramatisch bei längeren Längen. Bei 32.000 Token sinkt der Spitzenspeicher von 85,2 Gigabyte mit dem Standardansatz auf 5,45 Gigabyte mit dem neuen. Der dichte Loss schlägt bei 64.000 Token völlig fehl. Bei 256.000 Token verwendet die Fused Chunked-Methode 11,6 Gigabyte gegenüber 134,2 Gigabyte für die nächstbeste Alternative.
Einfach ausgedrückt: Experimente, die früher einen ganzen Rack mit Hunderten von Chips benötigten, können jetzt auf einer einzelnen High-End-Grafikkarte laufen. Das macht es für kleinere Forschungsteams und Unternehmen realistisch, komprimierte Modelle aus den größten heute verfügbaren Open-Source-KI-Systemen zu erstellen.
Häufig gestellte Fragen
Ist das kleinere Modell schlechter als das Original?
In den gemeldeten Benchmarks war der Trainingsverlust des Schülermodells über alle vier Methoden hinweg nahezu identisch, einschließlich des neuen kostengünstigen Ansatzes. Die Qualität blieb erhalten, obwohl nur die 100 wahrscheinlichsten Wortvorhersagen pro Position anstelle der vollständigen Lehrerausgabe verwendet wurden.
Kann jeder diese Technik nutzen?
Der Chunked-Loss-Code ist Open Source und wird öffentlich auf GitHub von CompactifAI veröffentlicht. Jeder mit einem einzelnen modernen KI-Chip und einer Kopie eines großen Open-Source-Modells kann grundsätzlich seine eigenen Distillations-Experimente damit durchführen.
Wer profitiert zuerst?
Kleine KI-Forschungsteams und Unternehmen, die große Open-Source-Modelle für kostengünstigere Bereitstellung komprimieren möchten, werden den Unterschied am schnellsten spüren. Endnutzer können später profitieren, wenn mehr erschwingliche komprimierte Modelle in Produkte und Dienste gelangen.
