ByteDance entwickelt eines der größten KI-Modelle aller Zeiten

Wichtigste Punkte

• ByteDance trainiert einem KI-Modell mit bis zu 10 Billionen Parametern, wie drei mit dem Projekt vertraute Personen berichten.
• Diese Zahl ist dreimal größer als Kimi K3, das bisher größte öffentlich veröffentlichte chinesische KI-Modell.
• Das Modell befindet sich in der Vortrainingsphase, die typischerweise drei bis sechs Monate vor jeder Veröffentlichung dauert.
• Die endgültige Parameterzahl wurde nicht festgelegt und wird erst in einem späteren Entwicklungsstadium bestätigt.
• Nach Fertigstellung würde sich das Modell der Größe der fortschrittlichsten KI-Systeme von Anthropic annähern.

ByteDance, das chinesische Unternehmen hinter TikTok, entwickelt im Stillen eines der größten Künstliche-Intelligenz-Modelle der Welt. Drei mit dem Projekt vertraute Personen berichteten Ars Technica, dass das Modell 10 Billionen Parameter erreichen könnte, eine Zahl, die einer Erklärung bedarf.

Ein Parameter ist eine winzige interne Einstellung in einem KI-Modell. Je mehr Parameter ein Modell hat, desto mehr Muster kann es aus Daten lernen, und desto leistungsfähiger wird es in der Regel bei Aufgaben wie Schreiben, Denken und Beantworten von Fragen. GPT-4, das Modell, das ChatGPT antreibt, wird allgemein auf etwa 1,8 Billionen Parameter geschätzt. Zehn Billionen wären ein ganz anderes Kaliber.

Zum Vergleich: Moonshots Kimi K3, derzeit das größte von einem chinesischen Unternehmen veröffentlichte KI-Modell, hat etwa 3,3 Billionen Parameter. ByteDances Projekt würde dreimal so groß sein.

In welchem Stadium befindet sich das?

Derzeit befindet sich das Modell in der sogenannten Vortrainingsphase: der ersten und längsten Phase beim Aufbau einer KI, in der das System riesige Mengen Text und Daten durchliest, um grundlegende Sprach- und Denkkompetenz zu erlernen. Stellen Sie sich vor, dass die KI die Schule besucht, bevor die spezialisierte berufliche Schulung beginnt. Diese Phase dauert normalerweise drei bis sechs Monate.

Nach dem Vortraining durchlaufen Ingenieure eine zweite Phase namens Feinabstimmung, in der das Modell mit spezifischeren Aufgaben trainiert und für die praktische Anwendung verfeinert wird. Nur dann würde ByteDance eine öffentliche Veröffentlichung in Betracht ziehen, und nur wenn die Ergebnisse vielversprechend aussehen.

Wichtig ist, dass die Zahl von 10 Billionen nicht endgültig ist. Eine der Quellen sagte, dass die genaue Größe erst später in dem Prozess entschieden wird. Die Schlagzahl könnte sich ändern.

Warum ist das für gewöhnliche Menschen wichtig?

Größere Modelle liefern tendenziell bessere Ergebnisse bei schwierigen Problemen: komplexe Rechtsdokumente, medizinische Fragen, mehrstufige Coding-Aufgaben. Wenn ByteDance ein Modell in diesem Maßstab veröffentlicht, hätte das Unternehmen ein ernsthaftes Werkzeug, um mit amerikanischen Laboren wie Anthropic und OpenAI auf dem globalen KI-Markt zu konkurrieren.

Es signalisiert auch, wie schnell chinesische Unternehmen die Lücke schließen. Vor einem Jahr wirkte die Kluft zwischen amerikanischer und chinesischer KI-Technologie an der Grenze groß. Heute schließt sie sich schnell.

Für Verbraucher ist das praktische Ergebnis mehr Wettbewerb, was historisch gesehen zu niedrigeren Preisen und besserer Qualität führt. ByteDance betreibt bereits KI-Produkte, darunter seinen eigenen Chatbot Doubao, der in China zehn Millionen Nutzer hat.

All das ist noch kein fertiges Produkt. Das Training kann fehlschlagen, Ergebnisse können enttäuschen, und Unternehmen stellen regelmäßig Modelle ein, die nicht wie erhofft funktionieren. Aber die bloße Größe des Unternehmens sagt etwas über die Ziele von ByteDance aus.