Senken Sie Ihre AI-Rechnung um 40%, ohne das Modell zu ändern: So gelang es einem Unternehmen

Wichtigste Punkte

• Das Forschungsteam von Writer senkte die durchschnittlichen Kosten pro AI-Aufgabe um 41%, von 21 Cent auf 12 Cent, indem es die Orchestrierungsschicht um das Modell neu gestaltete, statt das Modell selbst zu verändern.
• Der Token-Verbrauch, das Volumen des in jeder Aufgabe verarbeiteten Textes, sank um 38%, von 14.200 Token auf 8.800 Token pro Aufgabe.
• Die Erfolgsquoten der Aufgaben blieben stabil oder verbesserten sich leicht, von 78% auf 81%, während die mittlere Aufgabendauer um 44% sank, von 48 Sekunden auf 27 Sekunden.
• Die Effizienzgewinne waren nur bei den zwei leistungsstärksten getesteten Modellen zuverlässig: Writers eigenes Palmyra X6 und Anthropics Claude Sonnet 4.6.
• Die Forscher veröffentlichten ihre Erkenntnisse in einem Papier, das jedes Engineering-Team heute anwenden kann, da keine Änderungen am zugrunde liegenden AI-Modell erforderlich sind.

AI ist teuer. Jedes Unternehmen, das über eine kleine Demo hinausgegangen ist und AI-Tools in realem Maßstab betreibt, hat das auf seinem Abrechnungs-Dashboard gespürt. Ein neues Forschungspapier des Unternehmens Writer, eines Enterprise-AI-Softwareherstellers, belegt nun mit konkreten Zahlen, warum die Kosten in die Höhe schnellen, und zeigt eine praktische Lösung, die nicht erfordert, dass Sie Ihr AI-Modell austauschen oder etwas umschulen.

Kurz gesagt: Das Problem ist nicht das Modell. Es ist die Infrastruktur drumherum.

Was genau ist ein „AI-Gestell" und warum sollte es Sie interessieren?

Ein AI-Gestell, manchmal auch Orchestrierungsschicht genannt, ist die Software, die zwischen Ihrer Anwendung und dem AI-Modell selbst sitzt. Stellen Sie sich es als einen Regisseur vor. Es entscheidet, welche Anweisungen an das Modell gesendet werden, welche Dokumente es erhält, wie Fehler behandelt werden und wann Spezial-Tools eingesetzt werden. Die meisten Entwicklungsteams erstellen diese Schicht schnell und behandeln sie als überflüssigen Verbindungscode. Writers Forscher argumentieren, dass dies derzeit der teuerste einzelne Fehler in der AI-Ingenieurspraxis ist.

Das Papier testet sechs verschiedene AI-Modelle, darunter Anthropics Claude Sonnet 4.6, Googles Gemini Flash 3.5 und Writers eigenes Palmyra X6, auf 22 standardisierte Geschäftsaufgaben. Sie behielten die Modelle und Aufgaben identisch und verglichen dann ein Standard-Gestell mit einem sorgfältig optimierten. Die Ergebnisse überraschten sogar die Forscher.

Die Kosten sanken um 41%. Die Aufgabenvollendungszeit sank um 44%. Die Qualität sank überhaupt nicht.

Wohin ging also die Verschwendung vorher? Der Schuldige hat einen Namen in der Branche: „Tokenmaxxing". Ein Token ist ein kleiner Textbrocken, ungefähr drei Viertel eines Wortes, das ein AI-Modell liest und generiert. Anbieter berechnen pro Token. Tokenmaxxing ist die Angewohnheit, riesige Mengen Text in jede AI-Anfrage zu werfen und zu hoffen, dass das Modell es herausfindet, anstatt die Anfrage sorgfältig zu konstruieren.

Writers CTO Waseem AlShikh sagte es VentureBeat deutlich: „Ihre Rechnung ist Token-pro-Aufgabe mal Preis-pro-Token, und die meisten Teams beobachten nur die zweite Zahl."

Preissenkungen von AI-Anbietern fühlen sich wie eine Erleichterung an. Aber wenn Ihr System dreimal so viele Token verbrennt wie nötig, bedeuten billigere Token immer noch eine aufgeblähte Rechnung.

Das optimierte Gestell behebt dies durch vier Maßnahmen: Zwischenspeicherung der Teile der Eingabeaufforderung, die sich niemals ändern, damit Sie nicht bei jedem Aufruf für denselben Text zahlen; Komprimierung des Gesprächsverlaufs, damit alter Kontext sich nicht aufstaut; Versendung von Suchaufgaben an kleine spezialisierte Sub-Agenten, anstatt rohe Dokumente in das Hauptgespräch zu stopfen; und Beendigung von unkontrollierten Wiederholungsschleifen, die die Token-Zahlen in die Höhe treiben, wenn das Modell auf einen Fehler stößt.

Eine Warnung, die es wert ist, erwähnt zu werden. Der Sub-Agenten-Ansatz, bei dem Sie Aufgaben an kleinere Spezialmodelle delegieren, funktionierte nur zuverlässig auf den zwei stärksten getesteten Modellen. Leichtere Modelle wie Gemini Flash 3.5 erreichten eine unter dem Schwellenwert der verwendbaren Zuverlässigkeit liegende Quote bei diesen Delegationsaufgaben. Wenn Ihr Team auf einem kleineren, billigeren Modell läuft, werden einige dieser Gewinne schwerer zu erzielen sein.

Aber die breitere Lektion gilt unabhängig davon, welches Modell Sie verwenden. Strukturieren Sie Ihre Eingabeaufforderungen so, dass die statischen Teile zuerst kommen und die dynamischen Teile zuletzt. Diese einzelne Änderung macht Eingabeaufforderungs-Zwischenspeicherung tatsächlich funktional und stoppt Sie davor, zweimal für dieselben Anweisungen zu zahlen.

Die eine ehrliche Erkenntnis: Bevor Sie noch einen Dollar für ein leistungsstärkeres AI-Modell ausgeben, überprüfen Sie, wie viele Token Ihr aktuelles System pro Aufgabe verbrennt. Diese Zahl, nicht der Pro-Token-Preis, ist der Ort, an dem sich Ihre echten AI-Kosten verbergen.