Open-Source-KI-Modelle ermöglichen es Unternehmen, Systeme zu bauen, die ihnen wirklich gehören. So sieht das aus.

Wichtigste Punkte

• Harvey, ein Legal-AI-Unternehmen, trainierte Nemotron 3 Ultra von NVIDIA mit seinem eigenen juristischen Benchmark nach und erreichte die Genauigkeit führender geschlossener Modelle bei mindestens 10-mal niedrigeren Kosten pro Durchlauf.
• Arcee AI erzielte Inferenzkosten von etwa 90 Cent pro Million Output-Token auf Nemotron – etwa 20-mal günstiger als vergleichbare geschlossene Frontier-Modelle.
• H Companys Holotron 3 Nano erzielte über 76% beim OSWorld-Verified-Benchmark, einem Test echter Computeraufgaben, und entsprach führenden Frontier-Modellen bei einem Bruchteil der Kosten.
• LangChain stimmte sein Agent-Framework für Nemotron 3 Ultra ohne erneutes Modelltraining ab und erreichte die höchste Agent-Genauigkeit unter Open-Source-Modellen zu etwa 10-mal niedrigeren Kosten als geschlossene Alternativen.
• YTL AI Labs trainierte ein Nemotron-Modell für die malaysische Sprache nach und machte lokal angepasste KI der Entwickler-Community Malaysias verfügbar.

Die meisten Unternehmen, die heute KI einsetzen möchten, stehen vor demselben stillen Problem. Die großen, leistungsstarken Modelle von OpenAI, Google und Anthropic sind Blackboxen. Sie können ihnen Fragen stellen. Sie können nicht hineinschauen, ändern, was sie wissen, oder sie auf Ihren eigenen Servern ausführen, ohne Ihre Daten durch Systeme anderer zu leiten.

Für ein Krankenhaus oder eine Anwaltskanzlei ist das sehr wichtig.

NVIDIA positioniert seine Nemotron-Familie von Open-Source-Modellen – also Modellen, deren innere Funktionsweise vollständig zur Überprüfung und Änderung verfügbar ist – als Antwort auf dieses Problem. Ein diese Woche von dem Unternehmen veröffentlichter Blogbeitrag zeigt, wie das in der Praxis aussieht, mit Zahlen belegt.

Das Legal-AI-Startup Harvey trainierte Nemotron 3 Ultra mit seinem eigenen internen juristischen Benchmark. Das Ergebnis entsprach der Genauigkeit der besten geschlossenen kommerziellen Modelle bei komplexen juristischen Aufgaben – zu Kosten, die nach Angaben von NVIDIA mindestens 10-mal niedriger pro Durchlauf sind. Das ist keine Rundung. Für eine Kanzlei, die monatlich Tausende von Dokumentenbewertungen durchführt, summieren sich die Ersparnisse schnell auf.

Glean entwickelte ein Produkt namens Waldo, ein Suchtool für Unternehmensdaten, indem es Nemotron mit einem größeren geschlossenen Modell kombinierte. Waldo liefert Antworten schneller und verwendet weniger Token – die kleinen Texteinheiten, die KI-Modelle verarbeiten – was die Rechenkosten direkt senkt.

Arcee AI ging bei den Kosten noch weiter. Durch die Ausführung von Nemotron auf NVIDIAs Blackwell-Hardware-Plattform, der Chip-Generation nach der vorherigen Hopper-Generation, senkte das Unternehmen die Inferenzkosten auf etwa 90 Cent pro Million Output-Token. Vergleichbare geschlossene Frontier-Modelle kosten für die gleiche Arbeit etwa 20-mal mehr.

Nicht jeder Anwendungsfall dreht sich um Recht oder Kosten. YTL AI Labs trainierte ein Nemotron-Modell speziell für die malaysische Sprache nach und schuf eine angepasste KI, die ein globaler Anbieter kaum aus kommerziellen Gründen entwickeln würde.

Abridge und Heidi Health setzen beide angepasste Nemotron-Modelle auf klinische Dokumentation an – die zeitaufwändige Aufgabe, ein Arzt-Patienten-Gespräch in eine strukturierte medizinische Notiz umzuwandeln. Dabei falsch zu liegen, hat echte Konsequenzen, weshalb diese Teams volle Transparenz darüber wünschen, wie ihr Modell trainiert wurde, und die Möglichkeit haben möchten, es zu korrigieren, wenn es nicht ausreicht.

Sollten Unternehmen geschlossene Modelle ganz aufgeben?

Nein. NVIDIAs eigene Darstellung besagt, dass offene und geschlossene Modelle am besten zusammenarbeiten. Ein leistungsstarkes Allzweck-Modell kann komplexe Planung bewältigen, während ein kleineres, spezialisiertes Open-Source-Modell spezifische Aufgaben mit niedrigeren Kosten ausführt. Stellen Sie es sich vor wie die Beauftragung eines teuren Spezialisten für die schwierige Urteilsfindung und eines gut trainierten Generalisten für die Routine-Arbeit.

Das praktische Argument für Open-Source-Modelle ist nicht, dass sie geschlossenen heute bei jeder Aufgabe überlegen sind. Es ist, dass Sie besitzen, was Sie aufbauen. Sie können es gegen Ihre eigenen Daten testen, es verbessern, wenn es fehlschlägt, und Ihre vertraulichsten Informationen nicht auf Server von Drittanbietern legen. Für Branchen, in denen eine falsche Antwort rechtliche oder klinische Konsequenzen hat, ist diese Kontrolle nicht optional.