Vier Startups setzen darauf, dass die nächste KI-Welle auf etwas Besseres als Transformer läuft

Wichtigste Punkte

• Google-Forscher erfanden 2017 das Transformer-Neuronalnetz, das nun jeden großen KI-Chatbot auf dem Markt unterstützt.
• OpenAI wird 2025 voraussichtlich 50 Milliarden Dollar für Computing ausgeben, hauptsächlich weil Transformer im großen Maßstab teuer sind.
• Die Internationale Energieagentur prognostiziert, dass sich der Stromverbrauch von Rechenzentren bis 2030 verdoppeln wird.
• Mindestens vier Startups bauen alternative KI-Architekturen auf, die nach eigenen Angaben schneller, kostengünstiger und besser für komplexe Aufgaben geeignet sind.
• Ein dieser Unternehmen, Liquid AI, hat fast 34 Millionen Downloads für Modelle verzeichnet, die auf einem 50-Dollar-Hobby-Computer laufen.

Im Sommer 2017 veröffentlichte ein Team von Google ein Papier mit dem Titel „Attention Is All You Need". Es beschrieb eine neue Art von Neuronalnetz (stellen Sie sich ein Neuronalnetz als Software vor, die grob modelliert ist, wie Gehirnzellen sich verbinden) namens Transformer. Transformer stellten sich als außerordentlich gut darin heraus, Text zu lesen und zu generieren, und sie wurden zur Engine in jedem KI-Chatbot, von ChatGPT bis Claude bis Gemini.

Sieben Jahre später geraten Transformer unter ihrer eigenen Erfolgslast ins Straucheln.

Was ist das eigentliche Problem?

Um die Bedeutung eines Satzes zu verstehen, vergleicht ein Transformer jedes Wort mit jedem anderen Wort. Das funktioniert bei kurzem Text hervorragend. Bei langen Dokumenten wird es schnell teuer: Ein 10.000-Wort-Dokument kann 50 Millionen einzelne Berechnungen erfordern. Je mehr Text Sie eingeben, desto schlimmer wird es.

Dieser Rechenaufwand hat echte Kosten. OpenAI plant, dieses Jahr 50 Milliarden Dollar für Computing auszugeben, wie Unternehmenpräsident Greg Brockman sagt. Die Internationale Energieagentur sagt, dass der Gesamtstromverbrauch von Rechenzentren bis 2030 verdoppelt wird.

Transformer haben auch Schwierigkeiten mit den Aufgaben, die KI-Unternehmen nun verkaufen. Reasoning-Modelle, die sich selbst Notizen machen, während sie ein Problem durcharbeiten, produzieren große Mengen an zusätzlichem Text, den der Transformer dann verarbeiten muss. KI-Agenten, Software, die mehrstufige Aufgaben selbstständig ausführen kann, müssen Informationen aus vielen Quellen gleichzeitig jonglieren. Beide treiben Transformer an ihre Grenzen.

Was sind die Alternativen?

Vier Unternehmen greifen das Problem aus verschiedenen Winkeln an.

Subquadratic, ein Startup aus Miami, sagt, es habe ein Modell namens SubQ gebaut, das „sparse attention" nutzt. Anstatt jedes Wort mit jedem anderen Wort zu vergleichen, wählt Sparse Attention nur die Paarungen aus, die wichtig sind, und reduziert die Anzahl der Berechnungen dramatisch. Das Unternehmen behauptet, dass SubQ bei Such- und Coding-Aufgaben mit etablierten großen Sprachmodellen konkurriert, obwohl einige Forscher skeptisch bleiben. Tausende von Nutzern sollen auf der Warteliste stehen.

Manifest AI, ansässig in San Francisco, geht noch weiter und ersetzt den Attention-Mechanismus vollständig. Sein Ansatz, „Power Retention" genannt, gibt dem Modell eine laufende Zusammenfassung dessen, was es bisher gelesen hat, und löscht Informationen, die nicht mehr relevant sind, wenn neues Material ankommt. Stellen Sie sich vor, es wäre ein Leser, der gute Notizen macht, statt jedes Wort auswendig zu lernen. Das Unternehmen hat die Technik verwendet, um PowerCoder zu bauen, basierend auf einem vorhandenen Open-Source-Coding-Modell, und Brumby, das nach eigenen Angaben mit einigen Versionen von Alibabas populärem Open-Source-Qwen-Modell konkurriert.

Liquid AI, ein Spinout vom MIT mit Sitz in Cambridge, Massachusetts, verfolgt einen Hybrid-Ansatz. Seine Modelle, sogenannte LFMs (Liquid Foundation Models), kombinieren Transformer mit einer anderen Technologie namens Liquid Neural Networks, inspiriert von den einfachen Nervensystemen von Würmern. Das Ergebnis: Modelle, die klein genug sind, um auf einem Raspberry Pi, einem 50-Dollar-Hobby-Computer, zu laufen, doch das Unternehmen sagt, sie entsprechen der Leistung von Konkurrenten, die viermal so groß sind. Liquid AI hat fast 34 Millionen Downloads verzeichnet. Mercedes gehört zu seinen Kunden.

Was bedeutet das für gewöhnliche Menschen?

Morgen ändert sich nichts an Ihrem Chatbot. Transformer sind tief in Produkten verankert, und sie zu ersetzen dauert Jahre. Aber die Richtung ist wichtig.

Wenn diese alternativen Ansätze im großen Maßstab funktionieren, könnten KI-Dienste billiger zu betreiben sein, was wahrscheinlich niedrigere Kosten für Unternehmen und letztendlich Benutzer bedeuten würde. Kleinere, effizientere Modelle könnten auch auf Geräten laufen, die Sie bereits besitzen, und Ihre Daten auf Ihrem Telefon halten, statt auf einem entfernten Server.

MIT Technology Review, das diese Unternehmen zuerst aufgedeckt hat, nennt diese nächste Generation von Modellen „LLMs+". Ob eines der heutigen Startups diejenige ist, die es baut, ist eine offene Frage. Aber das Problem, das sie zu lösen versuchen, ist sehr real.

Häufig gestellte Fragen

Muss ich als KI-Nutzer gerade etwas anders machen?

Nein. Diese Änderungen finden auf der Ingenieursebene statt, innerhalb von Unternehmen, die KI-Tools bauen. Vorerst sehen die Produkte, die Sie nutzen, von außen gleich aus.

Werden diese Alternativen mit Sicherheit Transformer ersetzen?

Nicht unbedingt. Transformer haben Vorhersagen ihrer Ersetzung schon zuvor überstanden. Jedes dieser Startups muss noch beweisen, dass sein Ansatz auf die Größe von Modellen skaliert, die Großprodukte antreiben, was eine erhebliche technische und finanzielle Herausforderung darstellt.