Encaminhamento de IA Soava Fácil de Economizar. A Realidade Custou o Dobro.

Pontos-chave

• Em 417 tarefas, Claude Sonnet 4.5 custou $79 no total ($0,19 por tarefa) enquanto GPT-4.1 custou $155 ($0,37 por tarefa), apesar de GPT-4.1 ter preços publicados mais baixos.
• A diferença resultava do armazenamento em cache: Sonnet reutilizava contexto guardado de forma mais barata, eliminando a vantagem de preço de tabela do GPT-4.1.
• O encaminhamento de pedidos de IA, a prática de dirigir automaticamente tarefas para o modelo de IA mais adequado, é um problema de sistemas, não um problema simples de classificação.
• Um router leve baseado em otimização alcançou 84% de precisão a $93 por execução, reduzindo custos em 21% e latência em 9% comparado com a utilização única de um modelo de topo.

A ideia parece sensata. Tem vários modelos de IA disponíveis, cada um com preços e capacidades diferentes. Portanto, constrói um router, um programa que dirige automaticamente cada tarefa que chega ao modelo mais adequado. Os pedidos fáceis vão para modelos mais baratos. Os difíceis vão para os modelos caros e potentes. Os custos descem. A qualidade mantém-se. Tarefa cumprida.

Essa é a teoria. A equipa do Hugging Face construiu um destes routers na prática, e os números contavam uma história diferente.

Executaram 417 tarefas idênticas através de dois modelos: Claude Sonnet e GPT-4.1. GPT-4.1 tem preços publicados mais baixos por palavra processada. Deveria ter sido mais barato. Custou $155. Sonnet custou $79, menos de metade.

O culpado foi o armazenamento em cache. Quando uma IA processa uma tarefa longa, pode guardar partes desse trabalho e reutilizá-las nas etapas posteriores, da mesma forma que um navegador guarda uma página web para que carregue mais rapidamente da próxima vez. Sonnet cobra menos para ler a partir desse armazém guardado. Como as tarefas envolviam muito contexto repetido, a vantagem de armazenamento em cache de Sonnet apagou completamente a taxa de tabela mais baixa de GPT-4.1.

A tabela de preços contava uma história. A fatura real contava outra.

Isto importa se está apenas a usar uma ferramenta de IA, não a construir uma?

Sim, indiretamente. Cada produto de IA que utiliza, desde um chatbot de atendimento ao cliente a um assistente de escrita, quase certamente encaminha os seus pedidos nos bastidores. A forma como esse encaminhamento funciona afeta a velocidade que experiencia, a qualidade da resposta que recebe e, em última análise, o preço que a empresa lhe cobra.

Para além do custo, a equipa descobriu mais duas surpresas.

Em primeiro lugar, a dificuldade da tarefa é frequentemente invisível no início. Um pedido que parece simples, "resuma este contrato", pode desencadear uma cadeia de passos: pesquisa de documentos, execução de verificações de conformidade, chamada de ferramentas externas. Raramente sabe como é difícil um trabalho até a IA estar já a fazê-lo.

Em segundo lugar, a latência, ou seja, quanto tempo espera por uma resposta, depende de muito mais do que o tamanho do modelo. O hardware em que o modelo funciona, se a sua cache está aquecida e como está o servidor ocupado podem importar mais do que o próprio modelo. Adicionar um router adiciona o seu próprio atraso também, especialmente se o router toma uma decisão nova em cada passo de uma tarefa.

A solução da equipa foi deixar de perguntar "qual é o melhor modelo?" e começar a perguntar "qual combinação de custo, velocidade e precisão funciona melhor agora?" O seu router executa essa otimização em aproximadamente 6 milissegundos e utiliza cerca de 2 kilobytes de memória, pequeno o suficiente para não se tornar no gargalo.

A conclusão honesta: se está a pagar por uma ferramenta de IA e parece inconsistentemente lenta ou surpreendentemente cara, a camada de encaminhamento vale a pena perguntar. E se está a construir funcionalidades de IA no seu próprio produto, trate a avaliação comparativa de custos como um experimento em direto, não um exercício de folha de cálculo único. O preço no cartão do modelo raramente é o preço que vai realmente pagar.