AI-Bildmodelle auf normalen GPUs ausführen: Hugging Face bringt 4-Bit-Diffusion für alle
Eine neue Integration namens Nunchaku Lite ermöglicht es, Bild-generierenden KI auf Consumer-Grafikkarten mit halbem Speicherbedarf und 30% schnellerer Verarbeitung zu betreiben – ohne spezialisierte Einrichtung.
Wichtige Punkte
- Nunchaku Lite, veröffentlicht von Hugging Face, reduziert den Speicherbedarf eines erstklassigen KI-Bildmodells von etwa 24 GB auf etwa 12 GB auf einer NVIDIA RTX 5090.
- Die Technik nutzt 4-Bit-Quantisierung, eine Methode zur Komprimierung der Zahlen in einem Modell, damit es weniger Platz beansprucht, und beschleunigt die Bildgenerierung um etwa 30%.
- Ein 1024×1024-Bild wird mit dem komprimierten Modell auf einer RTX 5090 in etwa 1,7 Sekunden generiert, im Vergleich zur viel speicherintensiveren Standardversion.
- Entwickler können diese komprimierten Modelle mit einer einzigen Codezeile in Diffusers laden, dem beliebten Open-Source-Toolkit für KI-Bildgenerierung.
- NVIDIA RTX 30 und 40 Series-Karten werden unterstützt, wobei das neueste Komprimierungsformat die neueste RTX 50 Series-Hardware erfordert.
Hochwertige KI-Bilder zu generieren erforderte früher eine Grafikkarte, die die meisten nicht besitzen. Die besten Text-zu-Bild-Modelle benötigen bei voller Qualität zwischen 20 und 30 GB VRAM, den schnellen Speicher auf einer Grafikkarte, der die Arbeit verrichtet. Eine typische Consumer-Karte hat 8 bis 16 GB. Diese Lücke hat ernsthafte KI-Bildtools in Rechenzentren eingesperrt und sie aus Home-Studios ferngehalten.
Eine neue Integration von Hugging Face schließt diese Lücke erheblich.
Was ist Nunchaku Lite und was macht es genau?
Nunchaku Lite ist eine Möglichkeit, stark komprimierte KI-Bildmodelle direkt in Diffusers zu laden, der weit verbreiteten Open-Source-Bibliothek für die Ausführung von Bild-generierender KI, ohne ein separates Programm zu installieren oder etwas von Grund auf neu zu kompilieren.
Die verwendete Komprimierung heißt SVDQuant, kurz für Singular Value Decomposition Quantization. Quantisierung bedeutet im Allgemeinen, die großen, präzisen Zahlen in einem KI-Modell durch kleinere, grobe zu ersetzen – ähnlich wie eine MP3-Datei eine Studioaufnahme mit einem Bruchteil der Größe approximiert. Die meisten bestehenden Tools tun dies nur bei den gespeicherten Gewichtungen, dem erlernten Wissen des Modells, und konvertieren sie im Moment der Berechnung zurück zur vollständigen Präzision. Das spart Speicher, macht die Dinge aber nicht schneller.
SVDQuant geht weiter. Es führt die wichtigsten Berechnungsebenen des Modells mit 4-Bit-Präzision sowohl für die gespeicherten Gewichtungen als auch für die Live-Berechnungen aus, was den Speicherverbrauch reduziert und den Prozess beschleunigt. Die schwierige Parte ist, dass einige Zahlen in diesen Modellen extreme Ausreißer sind, und sie auf 4 Bits zu reduzieren zerstört die Qualität. SVDQuant behandelt diese problematischen Werte separat, behält einen kleinen Hochpräzisions-Puffer für die schwierigsten Fälle und quantisiert alles andere.
Nunchaku Lite bringt diesen Ansatz in Diffusers, ohne eine spezialisierte Engine zu benötigen. Ein Entwickler lädt einen komprimierten Checkpoint genauso wie jedes andere Modell: ein Funktionsaufruf, keine lokale Kompilierung.
Wer kann das heute nutzen?
Jeder mit einer kompatiblen NVIDIA-Grafikkarte kann es versuchen. RTX 30 und 40 Series-Karten, die den größten Teil des Consumer-Marktes der letzten vier Jahre abdecken, funktionieren mit den INT4-komprimierten Varianten. Das neueste NVFP4-Format, das den Speicher noch weiter reduziert, erfordert NVIDIAs neueste Blackwell-Karten: die RTX 50 Series, die RTX PRO 6000 oder die B200. Ältere Karten wie Volta und Hopper-Generationen werden derzeit nicht unterstützt.
| Format | Unterstützte Karten | Spitzenspeicher (1024px-Bild) | Generierungszeit |
|---|---|---|---|
| BF16 (Standard) | Nur High-End-Karten | ~24 GB | Basis |
| INT4 (Nunchaku Lite) | RTX 30 & 40 Series, A100, L40S | ~12 GB | ~30% schneller |
| NVFP4 (Nunchaku Lite) | RTX 50 Series, B200 | ~12 GB | ~30% schneller |
Für normale Nutzer ist das praktische Ergebnis klar: Modelle, die zuvor auf einem Mittelklasse-Gaming-PC nicht zu laden waren, können jetzt problemlos ausgeführt werden. Entwickler, die Bildtools für ein breiteres Publikum erstellen, erhalten einen unkomplizierten Weg zur Unterstützung weiterer Hardware.
Was bedeutet das für die Bildqualität?
Komprimierung beinhaltet immer einen Kompromiss. Nunchaku Lite ist etwa 30% schneller als ein standardmäßiges Modell mit voller Präzision, erreicht aber nicht die Geschwindigkeit der ursprünglichen Nunchaku-Engine, die architekturspezifische Shortcuts verwendet, die Nunchaku Lite absichtlich vermeidet, um flexibel zu bleiben. Die Bildqualität in komprimierten Modellen ist dem Original sehr ähnlich, obwohl subtile Unterschiede bei feinen Details auftreten können. Die eigenen Benchmarks des SVDQuant-Papers deuten darauf hin, dass die Lücke klein genug für die meisten praktischen Zwecke ist.
Häufig gestellte Fragen
Muss ich ein Entwickler sein, um davon zu profitieren?
Im Moment ja. Nunchaku Lite funktioniert über Diffusers, eine Python-Codebibliothek, daher müssen zum Laden dieser Modelle eine kleine Menge Code geschrieben werden. Consumer-Anwendungen basierend auf Diffusers könnten mit der Zeit automatisch Unterstützung hinzufügen.
Funktioniert dies auf einem Mac oder auf AMD-Grafikkarten?
Nicht derzeit. Nunchaku Lite basiert auf NVIDIA-spezifischen CUDA-Kerneln, dem Low-Level-Code, der NVIDIA-Chips anweist, diese Berechnungen schnell durchzuführen. AMD und Apple Silicon werden derzeit nicht unterstützt.
Können Entwickler ihre eigenen benutzerdefinierten Modelle komprimieren?
Ja. Hugging Face veröffentlichte auch ein begleitendes Toolkit namens diffuse-compressor, das es Entwicklern ermöglicht, neue Modellarchitekturen selbst zu quantisieren und die Ergebnisse als Standard-Diffusers-Repositorys zu veröffentlichen.
