Il routing dell'IA sembrava facile da risparmiare. La realtà è costata il doppio.

Punti chiave

• Su 417 compiti, Claude Sonnet 4.5 è costato 79 dollari in totale (0,19 dollari per compito) mentre GPT-4.1 è costato 155 dollari (0,37 dollari per compito), nonostante GPT-4.1 avesse prezzi pubblicati inferiori.
• La differenza proveniva dal caching: Sonnet ha riutilizzato il contesto memorizzato a un costo inferiore, annullando il vantaggio di prezzo di GPT-4.1.
• Il routing delle richieste IA, la pratica di indirizzare automaticamente i compiti al modello IA più adatto, è un problema di sistemi, non un semplice problema di ordinamento.
• Un router leggero basato sull'ottimizzazione ha raggiunto l'84% di precisione con 93 dollari per esecuzione, riducendo i costi del 21% e la latenza del 9% rispetto all'esecuzione di un singolo modello di fascia alta.

L'idea sembra sensata. Hai diversi modelli IA disponibili, ognuno con prezzi e punti di forza diversi. Quindi costruisci un router, un software che indirizza automaticamente ogni compito in arrivo al modello più adatto. I compiti facili vanno ai modelli più economici. Quelli difficili ai modelli potenti e costosi. I costi scendono. La qualità rimane stabile. Lavoro fatto.

È la teoria. Il team di Hugging Face ne ha costruito uno nella pratica, e i numeri hanno raccontato una storia diversa.

Hanno eseguito 417 compiti identici attraverso due modelli: Claude Sonnet e GPT-4.1. GPT-4.1 ha prezzi pubblicati inferiori per parola elaborata. Avrebbe dovuto essere più economico. È costato 155 dollari. Sonnet è costato 79 dollari, meno della metà.

Il colpevole era il caching. Quando un'IA elabora un compito lungo, può salvare parti di quel lavoro e riutilizzarle nei passi successivi, proprio come un browser memorizza una pagina web perché si carichi più velocemente la prossima volta. Sonnet addebita meno per leggere da quel archivio salvato. Poiché i compiti implicavano molto contesto ripetuto, il vantaggio del caching di Sonnet ha completamente annullato il tasso iniziale inferiore di GPT-4.1.

Il listino prezzi raccontava una storia. La fattura reale raccontava un'altra.

Ha importanza se stai semplicemente usando uno strumento IA, non costruendone uno?

Sì, indirettamente. Ogni prodotto IA che usi, da un chatbot di servizio clienti a un assistente di scrittura, quasi certamente indirizza le tue richieste dietro le quinte. Il funzionamento del routing influisce sulla velocità che sperimenti, la qualità della risposta che ricevi, e infine il prezzo che l'azienda ti addebita.

Oltre ai costi, il team ha trovato altre due sorprese.

Innanzitutto, la difficoltà di un compito è spesso invisibile inizialmente. Una richiesta che sembra semplice, "riassumi questo contratto", può attivare una catena di step: ricerca in documenti, esecuzione di controlli di conformità, chiamate a strumenti esterni. Raramente sai quanto difficile sia un lavoro fino a quando l'IA non lo sta già facendo.

Secondo, la latenza, cioè quanto tempo aspetti una risposta, dipende da molto più che dalla dimensione del modello. Su quale hardware gira il modello, se la sua cache è calda, e quanto è occupato il server possono contare più del modello stesso. Aggiungere un router aggiunge il suo stesso ritardo, specialmente se il router prende una decisione nuova ad ogni singolo step di un compito.

La soluzione del team è stata smettere di chiedersi "quale modello è migliore?" e iniziare a chiedersi "quale combinazione di costo, velocità e precisione funziona meglio adesso?" Il loro router esegue quell'ottimizzazione in circa 6 millisecondi e usa circa 2 kilobyte di memoria, abbastanza piccolo da non diventare il collo di bottiglia.

La conclusione onesta: se stai pagando uno strumento IA e ti sembra incoerentemente lento o sorprendentemente costoso, il livello di routing merita di essere approfondito. E se stai costruendo funzionalità IA nel tuo prodotto, tratta il benchmarking dei costi come un esperimento live, non come un esercizio su foglio di calcolo una volta sola. Il prezzo sulla scheda del modello è raramente quello che pagherai effettivamente.