Riduci la tua fattura AI del 40% senza toccare il modello: ecco come ha fatto un'azienda

Punti chiave

• Il team di ricerca di Writer ha ridotto il costo medio per attività AI del 41%, da 21 centesimi a 12 centesimi, riprogettando il layer di orchestrazione attorno al modello piuttosto che il modello stesso.
• Il consumo di token, il volume di testo elaborato in ogni attività, è sceso del 38%, da 14.200 token a 8.800 token per attività.
• I tassi di successo delle attività si sono mantenuti stabili o sono migliorati leggermente, passando dal 78% all'81%, mentre il tempo mediano di esecuzione è calato del 44%, da 48 secondi a 27 secondi.
• I guadagni di efficienza si sono mantenuti affidabili solo nei due modelli più capaci testati: Palmyra X6 di Writer e Claude Sonnet 4.6 di Anthropic.
• I ricercatori hanno pubblicato i loro risultati in un paper che qualsiasi team di ingegneria può applicare oggi, perché non richiede modifiche al modello AI sottostante.

L'AI è costosa. Qualsiasi azienda che ha superato una piccola demo e ha iniziato a eseguire strumenti AI su scala reale ha sentito questo nel dashboard di fatturazione. Un nuovo paper di ricerca di Writer, una società di software AI aziendale, ora fornisce numeri concreti sul perché i costi si impennano e mostra una soluzione pratica che non richiede di cambiare il tuo modello AI o di riaddestrare nulla.

La versione breve: il problema non è il modello. È l'impianto attorno ad esso.

Che cos'è esattamente un "harness AI" e perché dovresti importartene?

Un harness AI, a volte chiamato layer di orchestrazione, è il software che si trova tra la tua applicazione e il modello AI stesso. Pensalo come un direttore di scena. Decide quali istruzioni inviare al modello, quali documenti fornirgli, come gestire gli errori e quando chiamare in aiuto strumenti specializzati. La maggior parte dei team di sviluppo costruisce questo layer rapidamente e lo tratta come codice colla usa e getta. I ricercatori di Writer sostengono che questo è l'errore singolo più costoso nell'ingegneria dell'AI in questo momento.

Il paper testa sei diversi modelli AI, inclusi Claude Sonnet 4.6 di Anthropic, Gemini Flash 3.5 di Google e Palmyra X6 di Writer, su 22 attività commerciali standardizzate. Hanno mantenuto identici i modelli e le attività, quindi hanno confrontato un harness standard rispetto a uno accuratamente ottimizzato. I risultati hanno sorpreso anche i ricercatori.

I costi sono scesi del 41%. Il tempo di completamento delle attività è calato del 44%. La qualità non è diminuita affatto.

Allora dove andava lo spreco prima? Il colpevole ha un nome all'interno dell'industria: "tokenmaxxing". Un token è un piccolo frammento di testo, approssimativamente tre quarti di una parola, che un modello AI legge e genera. I provider fanno pagare per token. Il tokenmaxxing è l'abitudine di scaricare enormi quantità di testo in ogni richiesta AI, sperando che il modello capisca, piuttosto che ingegnerizzare attentamente la richiesta.

Il CTO di Writer Waseem AlShikh l'ha messo chiaramente a VentureBeat: "La tua fattura è token-per-attività moltiplicato prezzo-per-token, e la maggior parte dei team guarda solo il secondo numero".

I tagli dei prezzi dai provider AI sembrano un sollievo. Ma se il tuo sistema sta bruciando tre volte più token del necessario, token più economici significa comunque una fattura gonfia.

L'harness ottimizzato risolve questo attraverso quattro mosse: memorizzare in cache le parti del prompt che non cambiano mai così non ripaghi lo stesso testo ad ogni chiamata; comprimere la cronologia della conversazione così il vecchio contesto non si accumula; inviare i compiti di ricerca a sotto-agenti specializzati più piccoli piuttosto che inserire documenti grezzi nella conversazione principale; e eliminare i loop di retry senza vincoli che fanno impennare i conteggi dei token quando il modello incontra un errore.

Un'avvertenza che vale la pena segnalare. L'approccio del sotto-agente, dove deleghi i compiti a modelli specializzati più piccoli, ha funzionato affidabilmente solo nei due modelli più forti testati. Modelli più leggeri come Gemini Flash 3.5 hanno ottenuto punteggi al di sotto della soglia di affidabilità utilizzabile su questi compiti di delegazione. Se il tuo team funziona su un modello più piccolo e economico, alcuni di questi guadagni saranno più difficili da catturare.

Ma la lezione più ampia rimane valida indipendentemente da quale modello usi. Struttura i tuoi prompt in modo che le parti statiche vengano prima e le parti dinamiche vengano dopo. Questo singolo cambiamento fa effettivamente funzionare il prompt caching e ti impedisce di pagare due volte per le stesse istruzioni.

L'unica conclusione onesta: prima di spendere un altro dollaro su un modello AI più potente, controlla quanti token il tuo sistema attuale sta bruciando per attività. Questo numero, non il prezzo per token, è il luogo dove si nascondono i tuoi veri costi AI.