Reduza a sua fatura de IA em 40% sem alterar o modelo: veja como uma empresa conseguiu

Pontos-chave

• A equipa de investigação da Writer reduziu o custo médio por tarefa de IA em 41%, de 21 cêntimos para 12 cêntimos, ao redesenhar a camada de orquestração em torno do modelo em vez do modelo em si.
• O consumo de tokens, o volume de texto processado em cada tarefa, caiu 38%, de 14.200 tokens para 8.800 tokens por tarefa.
• As taxas de sucesso nas tarefas mantiveram-se estáveis ou melhoraram ligeiramente, passando de 78% para 81%, enquanto o tempo mediano das tarefas diminuiu 44%, de 48 segundos para 27 segundos.
• Os ganhos de eficiência mantiveram-se de forma fiável apenas nos dois modelos mais capazes testados: o Palmyra X6 da Writer e o Claude Sonnet 4.6 da Anthropic.
• Os investigadores publicaram as suas descobertas num artigo que qualquer equipa de engenharia pode aplicar hoje, pois não requer alterações ao modelo de IA subjacente.

A IA é cara. Qualquer empresa que tenha avançado para além de uma pequena demonstração e começado a executar ferramentas de IA em escala real sentiram isso no painel de faturação. Um novo artigo de investigação da Writer, uma empresa de software de IA empresarial, agora coloca números concretos sobre o porquê dos custos dispararem, e mostra uma solução prática que não requer substituir o seu modelo de IA ou treinar novamente nada.

Em resumo: o problema não é o modelo. É a infraestrutura à sua volta.

O que é exactamente um "arnês de IA" e por que deveria importar-se?

Um arnês de IA, por vezes chamado camada de orquestração, é o software que fica entre a sua aplicação e o modelo de IA propriamente dito. Pense nela como um gestor de palco. Decide que instruções enviar ao modelo, que documentos lhe fornecer, como lidar com erros e quando recorrer a ferramentas especializadas. A maioria das equipas de desenvolvimento constroem esta camada rapidamente e tratam-na como código de ligação descartável. Os investigadores da Writer argumentam que este é o erro mais caro na engenharia de IA neste momento.

O artigo testa seis modelos de IA diferentes, incluindo o Claude Sonnet 4.6 da Anthropic, o Gemini Flash 3.5 do Google e o Palmyra X6 da Writer, em 22 tarefas comerciais padronizadas. Mantiveram os modelos e tarefas idênticos, depois compararam um arnês padrão com um cuidadosamente optimizado. Os resultados surpreenderam até os investigadores.

Os custos caíram em 41%. O tempo de conclusão das tarefas diminuiu em 44%. A qualidade não caiu.

Então para onde estava a desperdiçamento antes? O culpado tem um nome dentro da indústria: "maximização de tokens". Um token é um pequeno fragmento de texto, aproximadamente três quartos de uma palavra, que um modelo de IA lê e gera. Os fornecedores cobram por token. A maximização de tokens é o hábito de despejar enormes quantidades de texto em cada pedido de IA, na esperança que o modelo descubra, em vez de engenharia cuidadosa do pedido.

O CTO da Writer Waseem AlShikh disse claramente à VentureBeat: "A sua fatura é tokens-por-tarefa vezes preço-por-token, e a maioria das equipas apenas observam o segundo número."

Os cortes de preço dos fornecedores de IA sentem-se como alívio. Mas se o seu sistema está a consumir três vezes mais tokens do que o necessário, tokens mais baratos ainda significa uma fatura inchada.

O arnês optimizado corrige isto através de quatro movimentos: colocar em cache as partes do prompt que nunca mudam, para que não pague novamente pelo mesmo texto em cada chamada; comprimir o histórico de conversas para que o contexto antigo não se acumule; enviar tarefas de pesquisa para pequenos sub-agentes especializados em vez de colocar documentos brutos na conversa principal; e cortar ciclos de repetição sem restrições que enviam as contagens de tokens para o telhado quando o modelo encontra um erro.

Uma cautela que vale a pena assinalar. A abordagem sub-agente, onde delega tarefas para modelos especializados mais pequenos, funcionou apenas de forma fiável nos dois modelos mais fortes testados. Modelos mais leves como o Gemini Flash 3.5 pontuaram abaixo de um limiar de fiabilidade utilizável nessas tarefas de delegação. Se a sua equipa funciona num modelo mais pequeno e mais barato, alguns destes ganhos serão mais difíceis de capturar.

Mas a lição mais ampla mantém-se independentemente do modelo que usa. Estruture os seus prompts para que as partes estáticas venham primeiro e as partes dinâmicas venham por último. Esta única mudança faz com que o armazenamento em cache de prompts funcione e o impede de pagar duas vezes pelas mesmas instruções.

O único ponto de vista honesto: antes de gastar outro cêntimo num modelo de IA mais poderoso, audite quantos tokens o seu sistema actual está a consumir por tarefa. Esse número, não o preço por token, é onde os seus custos reais de IA estão ocultos.