Inkling-Small ist ein Viertel der Größe seines Vorgängers und nahezu genauso leistungsfähig

Wichtige Punkte

• Thinking Machines veröffentlichte Inkling-Small am 9. Juli 2025, nur zwei Wochen nach dem Start des ursprünglichen Inkling-Modells.
• Inkling-Small verfügt über 276 Milliarden Gesamtparameter, nutzt aber nur 12 Milliarden gleichzeitig, im Vergleich zu 975 Milliarden Gesamtparametern und 41 Milliarden aktiven Parametern des ursprünglichen Inkling.
• Die Bewertungsseite Artificial Analysis von Drittanbietern bewertete Inkling-Small mit 40 auf ihrem Intelligence Index, einen Punkt unter Inkllings 41.
• Inkling-Small übertrifft Inkling bei Coding-Tests, einschließlich 80,2% gegenüber 77,6% bei SWE-bench Verified, einem Standard-Coding-Benchmark.
• Das Modell wird unter der Apache 2.0 Open-Source-Lizenz veröffentlicht, die es Unternehmen ermöglicht, es mit wenigen Einschränkungen zu nutzen, zu modifizieren und zu kommerzialisieren.

Zwei Wochen. Das ist alles, was Thinking Machines brauchte, das Startup, das von der ehemaligen OpenAI-Technologiechefin Mira Murati gegründet wurde, um sein Debut-KI-Modell mit einem kleineren, kostengünstigeren und nahezu ebenso leistungsfähigen Nachfolger zu ergänzen.

Das neue Modell heißt Inkling-Small. Es ist ein multimodales Reasoning-Modell, das heißt, es kann Text, Bilder und Audio verarbeiten und Text ausgeben. Trotz des Namens ist es nach normalem Maßstab nicht klein, aber es ist deutlich schlanker als sein Gegenstück, und die Leistungslücke ist überraschend klein.

Wie schneidet es im Vergleich zum ursprünglichen Inkling ab?

Auf Artificial Analysis' Intelligence Index, einem Bewertungssystem von Drittanbietern, das KI-Modelle in Dutzenden von Tests bewertet, erreicht Inkling-Small 40 gegenüber Inkllings 41. Ein Punkt Unterschied zu einem Modell, das etwa vier Mal größer ist.

Der Größenunterschied beruht auf der Architektur. Inkling-Small verwendet ein Design namens Sparse Mixture-of-Experts-Modell. Stellen Sie sich ein großes Team von Spezialisten vor: Das Modell hat 256 spezialisierte Unternetzwerke, sogenannte Experten, aber für jedes Wort oder jede Phrase, die es verarbeitet, konsultiert es nur sechs davon plus zwei Mehrzweck-Experten, die immer aktiv sind. Deshalb hat das Modell insgesamt 276 Milliarden Parameter (während des Trainings gelernte Werte), aktiviert aber nur 12 Milliarden auf einmal. Weniger Arbeit pro Schritt bedeutet niedrigere Rechenkosten.

Bei mehreren Coding- und Reasoning-Benchmarks schlägt Inkling-Small seinen größeren Bruder tatsächlich. Es erreicht 80,2% bei SWE-bench Verified, einem Test zur Behebung von echten Software-Bugs, gegenüber 77,6% für Inkling. Es schneidet auch besser ab bei einem Science-Coding-Benchmark namens SciCode und bei Humanity's Last Exam, einem Test für Reasoning auf Expertenniveau.

Der Vorteil ist nicht universell. Inkling behält einen klaren Vorsprung bei faktischen Wissensfragen: 23,7% gegenüber 15,5% bei einem Test im Banking-Bereich. Unternehmen, die das Modell für High-Stakes-Faktenfragen verwenden, müssen es immer noch mit Abruf-Tools und menschlicher Überprüfung kombinieren.

Können Sie es selbst tatsächlich ausführen?

Nicht auf einem Laptop. Die Vollpräzisions-Version von Inkling-Small benötigt mindestens 600 GB kombinierter GPU-Speicher, die Art von spezialisierter Rechenleistung, die man in Serverräumen findet, nicht in Heimbüros. Thinking Machines listet zwei unterstützte Hardware-Setups auf: vier NVIDIA B300-Chips oder acht NVIDIA H200-Chips.

Eine komprimierte Version reduziert diese Anforderung auf etwa 180 GB, und das Unternehmen sagt, dass diese Variante auf einem einzelnen B300-Chip ausgeführt werden kann. Dies ist immer noch eindeutig Enterprise-Gebiet.

Die Bezeichnung „Small" ist relativ zu Inkling, nicht zur breiteren Welt leichter Modelle, die auf Consumer-Hardware ausgeführt werden. Allerdings sind die vollständigen Modellgewichte frei auf Hugging Face verfügbar, der Hauptplattform für den Austausch von Open-Source-KI-Modellen, und die Open-Source-Community wird mit ziemlicher Sicherheit in den kommenden Wochen noch stärker komprimierte Versionen produzieren.

Was kostet die Nutzung über die API?

Thinking Machines bietet derzeit einen Einführungsrabatt an, der die Preise auf 0,58 US-Dollar pro Million Input-Token und 1,44 US-Dollar pro Million Output-Token für die Standard-64.000-Context-Version festlegt. Ein Token ist ungefähr drei Viertel eines Wortes, daher deckt eine Million Token eine große Textmenge ab.

Die Apache 2.0-Lizenz für das Modell verdient Aufmerksamkeit. Sie ermöglicht es Unternehmen, Inkling-Small zu nutzen, zu modifizieren, feinzustellen und kommerzielle Produkte darauf zu basieren, ohne die Umsatzschwellen oder Branding-Bedingungen, die in einigen anderen KI-Modell-Lizenzen enthalten sind. Für Rechts- und Beschaffungsteams ist das eine sinnvolle Vereinfachung.

Häufig gestellte Fragen

Bedeutet „Open Source", dass jeder dies kostenlos nutzen kann?

Apache 2.0 ist eine der permissivsten Standard-Lizenzen in Software. Unternehmen können Inkling-Small nutzen, modifizieren und Produkte verkaufen, die darauf basieren, solange sie die Attributionsregeln der Lizenz befolgen und alle akzeptablen Nutzungsrichtlinien überprüfen, die Thinking Machines dazu veröffentlicht.

Ist dieses Modell vertrauenswürdig für wichtige Entscheidungen?

Inkling-Smalls Scores bei faktischem Wissen liegen unter dem größeren Inkling, und sein Score bei einem Fakten-Index ist negativ, was bedeutet, dass es unter dem Durchschnitt bei der Abdeckung breiten Wissens liegt. Jede Organisation, die es für medizinische, rechtliche oder finanzielle Entscheidungen nutzt, sollte den Abruf aus verifizierten Quellen und eine menschliche Überprüfung der Ergebnisse einbauen.