Cinco coisas que líderes empresariais precisam saber antes de implementar agentes de IA

Pontos-chave

• A Intel realizou milhares de experiências com cargas de trabalho de IA agentica para medir o desempenho dos agentes de IA em sistemas empresariais completos, não apenas nas respostas do modelo de IA.
• A maioria das ferramentas de benchmarking existentes mede apenas o desempenho do modelo de IA subjacente, perdendo completamente a visão mais ampla do sistema.
• A métrica de capacidade correta é agentes por CPU virtual (vCPU), uma unidade de computação que representa uma fatia do poder de processamento de um servidor, não a contagem total de agentes.
• Monitorar o uso médio de CPU (o quanto o processador de um computador está trabalhando, em média) pode ocultar desacelerações graves; a latência de tarefas, o tempo que uma tarefa realmente demora para ser concluída, é um indicador de aviso melhor.
• Distribuir cargas de trabalho por múltiplos servidores, em vez de fazer upgrade de uma máquina grande única, é geralmente a abordagem mais barata e confiável para executar agentes em escala.

Agentes de IA são software que conseguem planear e executar tarefas com múltiplos passos de forma autónoma, marcando reuniões, triando bilhetes de suporte, executando testes de código, sem um humano clicar em cada etapa. As empresas estão a apostar muito neles. Mas um novo conjunto de descobertas da Intel sugere que a maioria das organizações está a pensar no problema de forma errada.

A Intel estendeu o Terminal-Bench, um framework de testes de código aberto usado para avaliar como os agentes de IA se comportam, adicionando ferramentas de profiling e telemetria detalhada (dados recolhidos sobre como o software está realmente a funcionar). A equipa executou os agentes em tarefas que iam desde consultas de bases de dados até transcodificação de vídeo, registando depois os resultados.

As descobertas foram publicadas como um guia prático para equipas de tecnologia empresariais, e foram originalmente apresentadas pela MIT Technology Review como conteúdo patrocinado da Intel.

O que as empresas estão a fazer errado?

A maioria das equipas mede o próprio modelo de IA: quão preciso é, quão rápido responde? Isso perde a maior parte do que torna um agente lento ou pouco confiável no mundo real.

Um agente faz muito mais do que conversar com um modelo de linguagem. Lê dados, chama ferramentas externas, verifica resultados e tenta novamente quando algo falha. Cada um desses passos consome tempo e computação. A Intel descobriu que focar apenas no desempenho do modelo não te diz quase nada sobre se a tua frota de agentes aguenta a carga comercial real.

As seis métricas que a Intel recomenda rastrear são: taxa de sucesso de tarefas, custo por tarefa, tempo por tarefa, throughput de tarefas (quantas tarefas o sistema completa num período dado), densidade de agentes (agentes por vCPU) e latência ponta a ponta.

Como devem as equipas planear a escalabilidade?

Dimensiona o teu sistema pela densidade de agentes, não pela contagem de agentes. Dez agentes a executar num servidor de 8 vCPU comportam-se quase de forma idêntica a 20 agentes num servidor de 16 vCPU, porque a densidade é a mesma. Este insight único permite que os arquitetos comparem tamanhos de servidores diferentes de forma justa.

Os objetivos de densidade também dependem do que os agentes estão a fazer. Agentes que falam diretamente com funcionários precisam de tempos de resposta rápidos, portanto manténs a densidade baixa. Tarefas em lote de background, como fluxos de trabalho de TI automatizados ou execuções de testes de código noturnas, podem funcionar com densidade mais alta sem que ninguém note um atraso ligeiro.

Tipo de carga de trabalho	Densidade recomendada	Porquê
Copiloto interativo / assistente virado para o utilizador	Densidade mais baixa	O tempo de resposta é visível aos utilizadores
Fluxos de trabalho de TI em lote ou testes	Densidade mais alta	Atrasos ligeiros são aceitáveis
Tarefas de computação paralela pesada	Aumentar a escala (servidor único mais poderoso)	Precisa de poder de processamento concentrado
A maioria das outras cargas de trabalho empresariais	Aumentar a escala horizontalmente (mais servidores)	Mais barato, mais resiliente, mais fácil de crescer

Sobre escalabilidade: adicionar mais servidores (scale-out) supera o upgrade de uma única máquina poderosa (scale-up) para quase todas as cargas de trabalho agenticas padrão. Os agentes são largamente independentes uns dos outros, portanto distribuí-los por máquinas melhora a disponibilidade e mantém os custos mais baixos conforme a frota cresce.

O que isto significa para as pessoas que executam estes sistemas?

Observa a latência de tarefas P95, o tempo até ao qual 95 por cento das tarefas foram concluídas, em vez do uso médio de CPU. O uso médio parece adequado até ao momento em que as filas começam a acumular-se e os utilizadores começam a esperar. A latência P95 apanha esse problema mais cedo.

As organizações a ver resultados reais não estão a fazer experiências. Estão a envolver agentes em volta de fluxos de trabalho que já têm regras claras: revisão de código, testes de regressão (verificações automatizadas de que o software novo não quebrou funcionalidades antigas), triagem de bilhetes e auditorias de segurança. Esses são os locais onde os agentes produzem ganhos de produtividade mensuráveis sem exigir que a organização repense tudo de uma vez.

Perguntas comuns

Preciso de hardware especial para executar agentes de IA?

Não necessariamente. As descobertas da Intel sugerem que adicionar mais servidores padrão (scale-out) funciona melhor do que comprar uma única máquina muito poderosa para a maioria das cargas de trabalho de agentes. O hardware especializado vale a pena considerar apenas quando os agentes precisam de computação paralela pesada ou partilham estado de formas que tornam impraticável dividi-los entre servidores.

Como é que um agente de IA é diferente de um chatbot?

Um chatbot responde a perguntas. Um agente planeia uma sequência de passos, usa ferramentas como bases de dados ou compiladores de código, verifica se cada passo funcionou e tenta novamente se não funcionou. Essa complexidade adicional é o motivo pelo qual executar agentes bem requer pensar no sistema inteiro, não apenas no modelo de IA no seu centro.

Estas descobertas são investigação revista por pares?

Não. Este trabalho vem das próprias experiências internas da Intel e foi publicado como conteúdo patrocinado pelo fabricante. O framework Terminal-Bench subjacente é de código aberto e disponível para revisão independente, mas as descobertas específicas não foram replicadas de forma independente ou publicadas numa revista revista por pares.