Uma Conversa Perfeita com IA Pode Ainda Significar um Produto Defeituoso, Alertam Líderes da Indústria

Pontos principais

• Harrison Chase, CEO da LangChain, afirmou na VB Transform 2026 que muitas equipas sofrem de "paralisia avaliativa" e nunca conseguem lançar o produto porque perseguem uma suite de testes perfeita antes do lançamento.
• Hui Zhang, CTO da Conviva, demonstrou como uma única conversa com IA pode obter uma boa pontuação isoladamente enquanto oculta um problema abrangente visível apenas ao comparar milhares de utilizadores com um padrão base.
• A LangChain ajustou o seu próprio modelo de IA pequeno para detetar erros percebidos pelos utilizadores a um custo 10 a 100 vezes inferior ao de utilizar Claude Sonnet da Anthropic, um modelo de IA comercial líder.
• Os três executivos concordaram que a aprovação humana permanece essencial em áreas reguladas como legal, finanças e saúde, mesmo com a expansão da verificação automatizada.

Imagine um cliente a perguntar a um assistente de compras de IA por ténis de corrida antes de uma meia-maratona. O assistente faz algumas perguntas, o cliente compra um par, e a conversa termina. Avalie essa interação isoladamente: parece adequada.

Agora veja o panorama completo. Em milhares de conversas semelhantes, esse assistente fez perguntas de esclarecimento três vezes mais vezes que o normal para essa categoria de sapatos. Os clientes completaram as suas compras fora do chat a uma taxa cinco vezes superior à habitual. Claramente algo está errado. Mas nunca o veria ao verificar uma conversa de cada vez.

Esse foi o argumento central apresentado na VB Transform 2026, inicialmente reportado pela VentureBeat, onde líderes de três empresas de infraestrutura de IA descreveram como as equipas empresariais estão a fazer a avaliação de agentes completamente errada.

As equipas estão a medir as coisas certas?

A maioria não está. Hui Zhang, CTO da Conviva, uma empresa de análise de streaming, designa a abordagem melhor como "análise contrastiva": comparar um grupo de utilizadores contra um padrão histórico em vez de pontuar registos de chat individuais. Pontuações isoladas parecem adequadas. Padrões populacionais revelam o erro real.

Harrison Chase, CEO da LangChain, a empresa por trás de um framework popular para construir agentes de IA (software que pode realizar tarefas de vários passos de forma independente), acrescentou uma segunda armadilha. As equipas constroem suites de testes exaustivas antes do lançamento, depois nunca conseguem lançar.

"Às vezes vemos equipas que têm uma espécie de paralisia avaliativa," disse Chase. "As melhores equipas lançam e depois iteram."

A sua perspetiva: trate os critérios de avaliação como uma especificação de produto viva que se atualiza conforme os problemas reais aparecem, não como uma lista de verificação que termina uma vez.

Emmanuel Turlay, diretor de engenharia na CoreWeave, um fornecedor de cloud de GPUs (GPU refere-se aos chips especializados que fazem o trabalho computacional intensivo que a IA necessita), enfrentou a mesma dificuldade pelo lado da engenharia. Perseguiu uma cobertura de testes de 100 por cento e ainda assim implementou bugs. A sua solução: configure uma monitorização ampla e contínua primeiro, deixe as falhas reais ensinarem-lhe quais os testes que deve escrever a seguir.

Uma vez que uma categoria de problema aparece, também tem uma questão de custo. A regra de Turlay é começar com o modelo de IA mais capaz para provar que algo é solucionável, depois passar para modelos mais pequenos e baratos para verificações rotineiras. A LangChain fez exatamente isso. Ajustou um modelo Qwen (uma família de modelo open-source da Alibaba) para identificar momentos em que os utilizadores sentiram que o agente cometeu um erro. O resultado correspondeu à precisão do Claude Sonnet a uma fração do preço. Chase notou que algumas proteções nem sequer precisam de um modelo: código simples de correspondência de padrões, chamado regex, trata muitas verificações a um custo quase nulo.

A questão humana está subjacente a tudo isto. Turlay baseou-se no seu trabalho anterior numa empresa de carros autónomos: mesmo depois de comprimir o ciclo de testes para duas semanas, uma pessoa ainda tinha de dar o aval ao modelo antes de entrar no veículo. A mesma lógica aplica-se a agentes de IA que lidam com conselhos médicos, decisões financeiras ou documentos legais.

Chase foi mais longe, argumentando que a verificação humana não é apenas uma rede de segurança. É como o sistema aprende. Sem feedback humano no ciclo, o agente não tem nada em que melhorar.