AI-Routing klang nach einfachen Einsparungen. Die Realität kostete das Doppelte.
Ein Team, das intelligente KI-Systeme entwickelt, dachte, dass einfache Aufgaben an günstigere KI-Modelle gesendet werden könnten, um Kosten zu sparen. Dann kamen die Zahlen.
Wichtigste Punkte
- Bei 417 Aufgaben kostete Claude Sonnet 4.5 insgesamt 79 US-Dollar (0,19 US-Dollar pro Aufgabe), während GPT-4.1 155 US-Dollar (0,37 US-Dollar pro Aufgabe) kostete, obwohl GPT-4.1 niedrigere veröffentlichte Preise hatte.
- Der Unterschied lag am Caching: Sonnet nutzte gespeicherte Kontexte günstiger wieder, was GPT-4.1s Preißvorteil aufzehrte.
- AI-Routing, die Praxis der automatischen Weiterleitung von Aufgaben an das am besten geeignete KI-Modell, ist ein Systemproblem, kein einfaches Sortierproblem.
- Ein leichter optimierungsbasierter Router erreichte 84 % Genauigkeit bei 93 US-Dollar pro Durchlauf und senkte die Kosten um 21 % und die Latenz um 9 % im Vergleich zur alleinigen Nutzung eines einzelnen Top-Modells.
Die Idee klingt vernünftig. Sie haben mehrere KI-Modelle zur Verfügung, jedes mit unterschiedlichen Preisen und Stärken. Also erstellen Sie einen Router, ein Softwareprogramm, das jede eingehende Aufgabe automatisch zum am besten geeigneten Modell weiterleitet. Einfache Anfragen gehen an günstigere Modelle. Schwierige an die teuren, leistungsstarken. Die Kosten sinken. Die Qualität bleibt. Erledigt.
Das ist die Theorie. Das Team bei Hugging Face baute einen solchen Router in der Praxis auf, und die Zahlen erzählten eine andere Geschichte.
Sie führten 417 identische Aufgaben durch zwei Modelle aus: Claude Sonnet und GPT-4.1. GPT-4.1 hat niedrigere veröffentlichte Preise pro verarbeitetem Wort. Es hätte billiger sein sollen. Es kostete 155 US-Dollar. Sonnet kostete 79 US-Dollar, weniger als die Hälfte.
Der Schuldige war Caching. Wenn eine KI eine lange Aufgabe verarbeitet, kann sie Teile dieser Arbeit speichern und in späteren Schritten wiederverwenden, ähnlich wie ein Browser eine Webseite speichert, damit sie beim nächsten Mal schneller lädt. Sonnet berechnet weniger für das Lesen aus diesem gespeicherten Speicher. Da die Aufgaben viel wiederholten Kontext beinhalteten, zerstörte Sonnets Caching-Vorteil GPT-4.1s niedrigere Listenrate vollständig.
Das Preisblatt erzählte eine Geschichte. Die tatsächliche Rechnung eine andere.
Spielt das eine Rolle, wenn Sie nur ein KI-Tool verwenden und nicht eines bauen?
Ja, indirekt. Jedes KI-Produkt, das Sie verwenden, von einem Kundenservice-Chatbot bis zu einem Schreibassistenten, leitet Ihre Anfragen mit hoher Wahrscheinlichkeit im Hintergrund weiter. Wie gut dieses Routing funktioniert, beeinflusst die Geschwindigkeit, die Sie erleben, die Qualität der Antwort, die Sie bekommen, und letztendlich den Preis, den das Unternehmen Ihnen berechnet.
Neben den Kosten fand das Team zwei weitere Überraschungen.
Erstens ist die Aufgabenschwierigkeit oft anfangs unsichtbar. Eine Anfrage, die einfach klingt, „fasse diesen Vertrag zusammen", kann eine Kette von Schritten auslösen: Dokumentensuche, Compliance-Überprüfungen, Aufrufe externer Tools. Sie wissen selten, wie schwer eine Aufgabe ist, bis die KI bereits daran arbeitet.
Zweitens hängt die Latenz, d. h. wie lange Sie auf eine Antwort warten, von viel mehr ab als nur der Modellgröße. Welche Hardware das Modell ausführt, ob sein Cache voll ist, und wie beschäftigt der Server ist, können mehr ausmachen als das Modell selbst. Das Hinzufügen eines Routers fügt seine eigene Verzögerung hinzu, besonders wenn der Router bei jedem einzelnen Schritt einer Aufgabe eine neue Entscheidung trifft.
Die Lösung des Teams bestand darin, die Frage „welches Modell ist am besten?" zu beenden und die Frage „welche Kombination aus Kosten, Geschwindigkeit und Genauigkeit funktioniert jetzt am besten?" zu stellen. Ihr Router führt diese Optimierung in etwa 6 Millisekunden durch und nutzt etwa 2 Kilobyte Speicher, klein genug, um nicht zum Engpass zu werden.
Die ehrliche Erkenntnis: Wenn Sie für ein KI-Tool bezahlen und es sich inkonsistent langsam oder überraschend teuer anfühlt, lohnt es sich, nach der Routing-Schicht zu fragen. Und wenn Sie KI-Funktionen in Ihr eigenes Produkt integrieren, behandeln Sie Cost Benchmarking als live Experiment, nicht als einmalige Tabellenkalkulationsübung. Der Preis auf der Modellkarte ist selten der Preis, den Sie tatsächlich bezahlen werden.
