Cinco coisas que líderes empresariais precisam saber antes de implementar agentes de IA

Pontos-chave

• A Intel realizou milhares de experiências com cargas de trabalho de IA agentic para medir como os agentes de IA funcionam em sistemas empresariais completos, não apenas em respostas de modelos de IA.
• A maioria das ferramentas de benchmarking existentes medem apenas o desempenho do modelo de IA subjacente, perdendo completamente a visão mais ampla do sistema.
• A métrica de capacidade correta é agentes por CPU virtual (vCPU), uma unidade de computação que representa uma fatia do poder de processamento de um servidor, não a contagem total de agentes.
• Monitorizar o uso médio de CPU pode esconder abrandamentos graves; a latência das tarefas, ou seja, o tempo que uma tarefa leva efetivamente para ser concluída, é um sinal de aviso melhor.
• Distribuir cargas de trabalho por múltiplos servidores, em vez de atualizar uma única máquina de grande capacidade, é geralmente a abordagem mais barata e fiável para executar agentes em escala.

Agentes de IA são software que podem planear e executar tarefas multi-passo de forma autónoma, marcando reuniões, triando pedidos de suporte, executando testes de código, sem que um humano clique em cada passo. As empresas estão a apostar muito neles. Mas as novas descobertas da Intel sugerem que a maioria das organizações está a pensar no problema de forma incorreta.

A Intel estendeu o Terminal-Bench, uma estrutura de testes de código aberto utilizada para avaliar o comportamento de agentes de IA, adicionando ferramentas de criação de perfil e telemetria (dados recolhidos sobre como o software está a funcionar). As tarefas variaram desde consultas a bases de dados até transcodificação de vídeo. As descobertas foram publicadas como um guia prático para equipas de tecnologia empresarial e apresentadas originalmente pela MIT Technology Review como conteúdo patrocinado da Intel.

É um padrão que a nossa história anterior "O seu chatbot de IA não está avariado. O seu pipeline de dados é que está." captou em julho: as equipas empresariais continuam a culpar o modelo quando o problema real está noutro lado do sistema.

O que é que as empresas estão a fazer de errado?

A maioria das equipas medem o próprio modelo de IA: precisão e velocidade de resposta. Isto ignora a maioria do que torna um agente lento ou pouco fiável na prática.

Um agente faz muito mais do que interrogar um modelo de linguagem. Lê dados, chama ferramentas, verifica resultados e tenta novamente quando algo falha. Cada passo consome tempo e computação. A Intel descobriu que o desempenho do modelo sozinho diz-lhe quase nada sobre se a sua frota de agentes conseguirá suportar a carga empresarial real.

As seis métricas que a Intel recomenda acompanhar são: taxa de sucesso das tarefas, custo por tarefa, tempo por tarefa, rendimento das tarefas (quantas tarefas o sistema completa num determinado período), densidade de agentes (agentes por vCPU), e latência ponta a ponta.

Como devem as equipas planear o crescimento em escala?

Dimensione o seu sistema pela densidade de agentes, não pela contagem de agentes. Dez agentes num servidor de 8 vCPU comportam-se de forma quase idêntica a 20 agentes num servidor de 16 vCPU, porque a densidade é a mesma. Esta única compreensão permite aos arquitetos comparar diferentes tamanhos de servidor de forma justa.

Os objetivos de densidade também dependem do que os agentes estão a fazer. Agentes voltados para colaboradores precisam de tempos de resposta rápidos, pelo que você mantém a densidade baixa. Tarefas batch em segundo plano, como fluxos de trabalho automáticos de TI ou execuções de testes de código noturnas, podem funcionar com densidade mais elevada sem que ninguém repare num pequeno atraso.

Tipo de carga de trabalho	Densidade recomendada	Porquê
Copiloto interativo / assistente voltado para o utilizador	Densidade menor	O tempo de resposta é visível para os utilizadores
Fluxos de trabalho de TI ou testes batch	Densidade maior	Pequenos atrasos aceitáveis
Tarefas de computação paralela pesada	Escalar para cima (servidor único mais potente)	Precisa de poder de processamento concentrado
Maioria das outras cargas de trabalho empresariais	Escalar para fora (mais servidores)	Mais barato, mais resiliente, mais fácil de crescer

Adicionar mais servidores (escalar para fora) é melhor do que atualizar uma única máquina (escalar para cima) para quase todas as cargas de trabalho agentic padrão. Os agentes são largamente independentes uns dos outros, pelo que distribui-los por máquinas melhora a disponibilidade e mantém os custos mais baixos à medida que a frota cresce.

O que isto significa para as pessoas que executam estes sistemas?

Acompanhe a latência P95 das tarefas, ou seja, o tempo até ao qual 95 por cento das tarefas foram concluídas, em vez do uso médio de CPU. O uso médio parece estar bem até ao momento em que as filas se formam e os utilizadores começam a esperar. A latência P95 identifica esse problema mais cedo.

As organizações que veem resultados reais não estão a executar experiências. Estão a envolver agentes em torno de fluxos de trabalho que já têm regras claras: revisão de código, testes de regressão (verificações automáticas de que o software novo não danificou o código antigo), triagem de pedidos e auditorias de segurança. Estes são os locais onde os agentes produzem ganhos de produtividade mensuráveis sem exigir que a organização repense tudo de uma só vez.

A leitura honesta deste relatório: as descobertas da Intel são sensatas do ponto de vista direcional e a estrutura Terminal-Bench é de código aberto, portanto as equipas podem verificar a sua estrutura por si mesmas. Mas os números específicos não foram replicados independentemente, e as empresas devem tratá-los como um framework de partida em vez de benchmarks estabelecidos.

Perguntas comuns

Preciso de hardware especial para executar agentes de IA?

Não necessariamente. As descobertas da Intel sugerem que adicionar mais servidores padrão funciona melhor do que comprar uma única máquina poderosa para a maioria das cargas de trabalho com agentes. O hardware especializado vale a pena considerar apenas quando os agentes precisam de computação paralela pesada ou partilham estado de formas que tornam impraticável dividi-los por servidores.

Como é que um agente de IA é diferente de um chatbot?

Um chatbot responde a perguntas. Um agente planeia uma sequência de passos, usa ferramentas como bases de dados ou compiladores de código, verifica se cada passo funcionou e tenta novamente se não funcionou. Esta complexidade extra é o motivo pelo qual executar agentes bem requer pensar no sistema inteiro, não apenas no modelo de IA no seu centro.

Estas descobertas são investigação revista por pares?

Não. Este trabalho provém das próprias experiências internas da Intel e foi publicado como conteúdo patrocinado por fornecedor. A estrutura subjacente do Terminal-Bench é de código aberto e disponível para revisão independente, mas as descobertas específicas não foram replicadas independentemente nem publicadas numa revista revisada por pares.