Cinque cose che i leader aziendali devono sapere prima di distribuire gli agenti AI

Punti chiave

• Intel ha condotto migliaia di esperimenti su carichi di lavoro AI agentic per misurare le prestazioni degli agenti AI nei sistemi aziendali completi, non solo nelle risposte dei modelli AI.
• La maggior parte degli strumenti di benchmarking esistenti misura solo le prestazioni del modello AI sottostante, perdendo completamente il quadro più ampio del sistema.
• La metrica di capacità corretta è agenti per vCPU (virtual CPU), un'unità di calcolo che rappresenta una frazione della potenza di elaborazione di un server, non il conteggio totale degli agenti.
• Il monitoraggio dell'utilizzo medio della CPU (quanto duramente sta lavorando il processore di un computer, in media) può nascondere rallentamenti seri; la latenza dei compiti, il tempo che un compito impiega effettivamente per completarsi, è un segnale di allarme migliore.
• La distribuzione dei carichi di lavoro su più server, piuttosto che l'aggiornamento di una singola macchina potente, è solitamente l'approccio più economico e affidabile per eseguire agenti su larga scala.

Gli agenti AI sono software che possono pianificare ed eseguire compiti multistep in modo autonomo, prenotando riunioni, triaging di ticket di supporto, eseguendo test di codice, senza che un umano debba fare clic su ogni passaggio. Le aziende stanno scommettendo pesantemente su di essi. Ma una nuova serie di risultati da Intel suggerisce che la maggior parte delle organizzazioni sta affrontando il problema nel modo sbagliato.

Intel ha esteso Terminal-Bench, un framework di test open-source utilizzato per valutare il comportamento degli agenti AI, aggiungendo strumenti di profiling e telemetria dettagliata (dati raccolti su come il software viene effettivamente eseguito). Il team ha eseguito gli agenti su compiti che vanno dalle query di database alla transcodifica video, quindi ha registrato i risultati.

I risultati sono stati pubblicati come una guida pratica per i team di tecnologia aziendale e sono stati originariamente presentati da MIT Technology Review come contenuto sponsorizzato da Intel.

Cosa stanno sbagliando le aziende?

La maggior parte dei team misura il modello AI stesso: quanto è accurato, quanto velocemente risponde? Questo trascura la maggior parte di ciò che rende un agente lento o inaffidabile nel mondo reale.

Un agente fa molto più che parlare con un modello linguistico. Legge dati, chiama strumenti esterni, controlla i risultati e riprova quando qualcosa si rompe. Ognuno di questi passaggi richiede tempo e potenza di calcolo. Intel ha scoperto che concentrarsi solo sulle prestazioni del modello non ti dice praticamente nulla su se la tua flotta di agenti reggerà sotto il carico aziendale reale.

Le sei metriche che Intel consiglia di tracciare sono: tasso di successo dei compiti, costo per compito, tempo per compito, throughput dei compiti (quanti compiti il sistema completa in un determinato periodo), densità degli agenti (agenti per vCPU) e latenza end-to-end.

Come dovrebbero pianificare i team la scalabilità?

Dimensiona il sistema in base alla densità degli agenti, non al conteggio degli agenti. Dieci agenti in esecuzione su un server a 8 vCPU si comportano quasi identicamente a 20 agenti su un server a 16 vCPU, perché la densità è la stessa. Questa singola intuizione consente agli architetti di confrontare equamente diverse dimensioni di server.

Gli obiettivi di densità dipendono anche da cosa stanno facendo gli agenti. Gli agenti che comunicano direttamente con i dipendenti hanno bisogno di tempi di risposta veloci, quindi mantieni la densità bassa. I lavori batch in background, come i flussi di lavoro IT automatizzati o le esecuzioni di test di codice notturni, possono funzionare a densità più elevata senza che nessuno noti un leggero ritardo.

Tipo di carico di lavoro	Densità consigliata	Perché
Copilot interattivo / assistente rivolto all'utente	Densità inferiore	Il tempo di risposta è visibile agli utenti
Flussi di lavoro IT batch o test	Densità superiore	Lievi ritardi accettabili
Compiti di calcolo parallelo pesante	Scale up (server singolo più potente)	Ha bisogno di potenza di elaborazione concentrata
La maggior parte degli altri carichi di lavoro aziendali	Scale out (più server)	Più economico, più resiliente, più facile da espandere

Sulla scalabilità: aggiungere più server (scale-out) supera l'aggiornamento di una singola macchina potente (scale-up) per quasi ogni carico di lavoro agentic standard. Gli agenti sono largamente indipendenti l'uno dall'altro, quindi distribuirli tra le macchine migliora la disponibilità e mantiene i costi più bassi man mano che la flotta cresce.

Cosa significa questo per le persone che gestiscono questi sistemi?

Monitora la latenza dei compiti P95, il tempo entro il quale il 95% dei compiti è stato completato, piuttosto che l'utilizzo medio della CPU. L'utilizzo medio sembra fine finché le code non si accumulano e gli utenti non iniziano ad aspettare. La latenza P95 rileva quel problema prima.

Le organizzazioni che vedono risultati reali non stanno conducendo esperimenti. Stanno avvolgendo agenti intorno a flussi di lavoro che hanno già regole chiare: revisione del codice, test di regressione (controlli automatizzati che il nuovo software non ha rotto le funzionalità precedenti), triaging di ticket e audit di sicurezza. Questi sono i luoghi in cui gli agenti producono guadagni di produttività misurabili senza richiedere all'organizzazione di ripensare tutto in una volta.

Domande comuni

Ho bisogno di hardware speciale per eseguire agenti AI?

Non necessariamente. I risultati di Intel suggeriscono che aggiungere più server standard (scale-out) funziona meglio che acquistare una singola macchina molto potente per la maggior parte dei carichi di lavoro degli agenti. L'hardware specializzato vale la pena considerare solo quando gli agenti hanno bisogno di calcolo parallelo pesante o condividono lo stato in modi che rendono impratico dividerli tra i server.

Come differisce un agente AI da un chatbot?

Un chatbot risponde alle domande. Un agente pianifica una sequenza di passaggi, utilizza strumenti come database o compilatori di codice, controlla se ogni passaggio ha funzionato e riprova se non ha funzionato. Questa complessità extra è il motivo per cui eseguire bene gli agenti richiede di pensare all'intero sistema, non solo al modello AI al centro di esso.

Questi risultati sono ricerca sottoposta a revisione paritaria?

No. Questo lavoro proviene dai propri esperimenti interni di Intel ed è stato pubblicato come contenuto sponsorizzato dal fornitore. Il framework Terminal-Bench sottostante è open-source e disponibile per la revisione indipendente, ma i risultati specifici non sono stati replicati indipendentemente o pubblicati in una rivista sottoposta a revisione paritaria.