Metas Muse Glimmer ist ein KI-Modell mit 30 Milliarden Parametern, das Sie auf Ihrem eigenen Computer ausführen können

Wichtige Punkte

• Meta hat Muse Glimmer am selben Tag wie diese Ankündigung unter der Apache-2.0-Open-Source-Lizenz veröffentlicht, was bedeutet, dass jeder sie kostenlos nutzen oder ändern kann.
• Das Modell hat 30 Milliarden Parameter, ein grobes Maß für seine Komplexität, was es kleiner und billiger zu betreiben macht als viele Spitzen-KI-Systeme.
• Muse Glimmer kann Text, Bilder und Videos in einem einzigen Modell verarbeiten und kann eigenständig externe Tools wie einen Wetterdienst aufrufen.
• Hugging Face bot am ersten Tag Unterstützung für das Modell über fünf große Software-Frameworks.
• Ein eingebauter Speed-Booster namens Speculative-Decoding-Drafter ist besonders gut beim Generieren von strukturierter Ausgabe wie Code.

Meta hat gerade ein neues KI-Modell veröffentlicht, und die Hauptnachricht ist, wo es läuft: auf Ihrem eigenen Computer, nicht auf dem Server eines Unternehmens.

Muse Glimmer ist ein multimodales Modell mit 30 Milliarden Parametern, was bedeutet, dass es Text, Bilder und Video gleichzeitig verarbeitet, anstatt separate Tools für jedes Format zu benötigen. Es wurde aus einem größeren Meta-Modell namens Muse destilliert – ein Prozess, der dem Erstellen einer prägnanten Schülerausgabe aus einem umfangreichen Lehrbuch ähnelt. Das Ergebnis ist ein Modell, das kompakt genug ist, um lokal zu laufen, aber dennoch komplexe Aufgaben bewältigen kann.

Was kann es eigentlich tun?

Muse Glimmer kann Fragen zu Fotos beantworten, Dokumente analysieren, Code schreiben und erklären und als persönlicher Assistent fungieren, der Aktionen in Ihrem Namen ausführt. Wenn Sie ihm ein Foto einer Stadt zeigen und fragen, was Sie einpacken sollen, kann es den Ort erkennen und automatisch einen Wetterdienst abfragen, um Ihnen eine echte Antwort zu geben.

Video wird auch unterstützt. Das Modell verarbeitet Aufnahmen mit bis zu 96 Bildern pro Clip, abtastend zwei Bilder pro Sekunde, und versieht jedes Bild mit seinem Zeitstempel, damit es versteht, wann Dinge passieren, nicht nur was gezeigt wird.

Das Modell ist auch agentengestützt, wie Ingenieure es nennen, was bedeutet, dass es ein Ziel in Schritte zerlegen und diese ausführen kann, ohne dass jemand jeden Schritt von Hand anleiten muss. Stellen Sie sich das weniger wie eine Suchmaschine vor und mehr wie einen fähigen Praktikanten, der lesen, nachschlagen und handeln kann.

Warum ist das lokale Ausführen wichtig?

Das Ausführen des Modells auf Ihrer eigenen Hardware bedeutet, dass Ihre Dokumente, Fotos und Gespräche Ihren Computer nie verlassen. Das ist wichtig für jeden, der mit sensiblen Informationen umgeht: Krankenakten, Rechtsdokumente, private Code-Repositories.

Es senkt auch die Kosten. Cloud-KI-Dienste berechnen pro Anfrage; ein lokal betriebenes Modell kostet nur den Strom zum Ausführen.

Die Apache-2.0-Lizenz ist die permissive Art: Unternehmen können kommerzielle Produkte auf Basis von Muse Glimmer aufbauen, ohne Lizenzgebühren zu zahlen.

Wie schnell ist es?

Im Inneren des Modells befindet sich ein optionales Speed-Modul namens Speculative-Decoding-Drafter, das auf einem System namens DFlash basiert. Speculative Decoding ist eine Technik, bei der ein kleineres, schnelleres Modell die nächsten mehreren Wörter errät und das Hauptmodell die Vermutungen in Massen überprüft, was die Zeit zum Generieren jeder Antwort verkürzt. Der Kompromiss ist ein etwas höherer Speicherverbrauch. Meta sagt, dass der Drafter besonders gut funktioniert, wenn das Modell strukturierte Inhalte wie Code schreibt.

Wie von Hugging Face berichtet, sind die Software-Frameworks, die benötigt werden, um Muse Glimmer auf NVIDIA-, AMD- und Intel-Grafikkarten (die spezialisierten Chips, auf denen KI-Modelle für numerische Berechnungen angewiesen sind) auszuführen, heute alle verfügbar, einschließlich der beliebten Transformers-Bibliothek und llama.cpp, eines Tools zum Ausführen großer Modelle auf gewöhnlicher Verbraucherhardware.

Was kommt als Nächstes?

Meta positioniert Muse Glimmer direkt auf Entwickler und datenschutzbewusste Nutzer, die leistungsstarke KI ohne Abonnement oder Datenfreigabevereinbarung wünschen. Ob Workloads, die früher einen Cloud-Service erforderten, zu lokalen Modellen migrieren, hängt großenteils davon ab, wie gut sich die Größe von 30 Milliarden Parametern bei Aufgaben bewährt, die heute viel größere Systeme erfordern.

Die vollständige Modellkollektion ist auf Hugging Face verfügbar.