Cinque cose che i leader aziendali devono sapere prima di distribuire agenti AI

Punti chiave

• Intel ha condotto migliaia di esperimenti su carichi di lavoro AI agentici per misurare come gli agenti AI si comportano su sistemi aziendali completi, non solo su risposte di modelli AI.
• La maggior parte degli strumenti di benchmarking esistenti misurano solo quanto bene il modello AI sottostante funziona, perdendo completamente il quadro del sistema più ampio.
• La metrica di capacità corretta è agenti per CPU virtuale (vCPU), un'unità di elaborazione che rappresenta una porzione del potere di elaborazione di un server, non il numero totale di agenti.
• Monitorare l'utilizzo medio della CPU può nascondere rallentamenti seri; la latenza del compito, cioè il tempo che effettivamente impiega un compito per completarsi, è un indicatore di avvertimento migliore.
• Distribuire i carichi di lavoro su più server, piuttosto che aggiornare una singola macchina grande, è di solito l'approccio più economico e affidabile per eseguire agenti su larga scala.

Gli agenti AI sono software in grado di pianificare ed eseguire autonomamente compiti multi-step, prenotare riunioni, classificare i ticket di supporto, eseguire test del codice, senza che un umano faccia clic su ogni passaggio. Le aziende stanno scommettendo molto su di loro. Ma le nuove scoperte di Intel suggeriscono che la maggior parte delle organizzazioni sta affrontando il problema in modo scorretto.

Intel ha esteso Terminal-Bench, un framework di test open-source utilizzato per valutare il comportamento degli agenti AI, aggiungendo strumenti di profilazione e telemetria (dati raccolti su come il software funziona effettivamente). I compiti variavano da query di database a transcodifica video. I risultati sono stati pubblicati come guida pratica per i team di tecnologia aziendale e sono stati originariamente presentati dal MIT Technology Review come contenuto sponsorizzato da Intel.

È uno schema che la nostra storia precedente "Il vostro chatbot AI non è rotto. Il vostro data pipeline è rotto." ha catturato a luglio: i team aziendali continuano a dare la colpa al modello quando il vero problema si trova altrove nel sistema.

Cosa stanno sbagliando le aziende?

La maggior parte dei team misura il modello AI stesso: accuratezza e velocità di risposta. Questo perde la maggior parte di ciò che rende lento o inaffidabile un agente in pratica.

Un agente fa molto più che interrogare un modello di linguaggio. Legge dati, chiama strumenti, controlla i risultati e ritenta quando qualcosa si rompe. Ogni passaggio richiede tempo e calcolo. Intel ha scoperto che la performance del modello da sola dice quasi nulla sul fatto che la vostra flotta di agenti reggerà il carico aziendale reale.

Le sei metriche che Intel consiglia di tracciare sono: tasso di successo del compito, costo per compito, tempo per compito, throughput del compito (quanti compiti il sistema completa in un dato periodo), densità degli agenti (agenti per vCPU) e latenza end-to-end.

Come dovrebbero i team pianificare la scalabilità?

Ridimensionate il vostro sistema in base alla densità degli agenti, non al numero di agenti. Dieci agenti su un server a 8-vCPU si comportano quasi identicamente a 20 agenti su un server a 16-vCPU, perché la densità è la stessa. Questa singola intuizione consente agli architetti di confrontare correttamente diverse dimensioni di server.

Gli obiettivi di densità dipendono anche da quello che gli agenti stanno facendo. Gli agenti che si rivolgono ai dipendenti hanno bisogno di tempi di risposta rapidi, quindi mantenete la densità bassa. I lavori batch in background, come i flussi di lavoro IT automatizzati o le esecuzioni di test del codice notturne, possono funzionare a densità più alta senza che nessuno noti un leggero ritardo.

Tipo di carico di lavoro	Densità consigliata	Motivo
Copilota interattivo / assistente rivolto agli utenti	Densità più bassa	Il tempo di risposta è visibile agli utenti
Flussi di lavoro batch IT o di test	Densità più alta	Ritardi lievi accettabili
Compiti di calcolo parallelo pesante	Aumento di scala (server singolo più potente)	Richiede potenza di elaborazione concentrata
La maggior parte degli altri carichi di lavoro aziendali	Aumento orizzontale (più server)	Più economico, più resiliente, più facile da far crescere

L'aggiunta di più server (scale-out) batte l'aggiornamento di una singola macchina (scale-up) per quasi ogni carico di lavoro agenticico standard. Gli agenti sono largamente indipendenti gli uni dagli altri, quindi distribuirli su più macchine migliora la disponibilità e mantiene i costi inferiori man mano che la flotta cresce.

Cosa significa questo per le persone che gestiscono questi sistemi?

Osservate la latenza P95 del compito, il tempo entro il quale il 95% dei compiti è stato completato, piuttosto che l'utilizzo medio della CPU. L'utilizzo medio sembra fine finché non si formano code e gli utenti non iniziano ad aspettare. La latenza P95 cattura quel problema prima.

Le organizzazioni che vedono risultati reali non stanno conducendo esperimenti. Stanno avvolgendo agenti intorno a flussi di lavoro che hanno già regole chiare: revisione del codice, test di regressione (controlli automatizzati che il nuovo software non ha rotto le funzionalità vecchie), triage dei ticket e audit di sicurezza. Questi sono i posti in cui gli agenti producono guadagni di produttività misurabili senza richiedere all'organizzazione di ripensare tutto in una volta.

Una lettura onesta di questo rapporto: le scoperte di Intel sono ragionevoli nella direzione generale e il framework Terminal-Bench è open-source, quindi i team possono verificarne la struttura da soli. Ma i numeri specifici non sono stati replicati indipendentemente, e le aziende dovrebbero trattarli come un framework iniziale piuttosto che come benchmark consolidati.

Domande comuni

Ho bisogno di hardware speciale per eseguire agenti AI?

Non necessariamente. Le scoperte di Intel suggeriscono che aggiungere più server standard funziona meglio che acquistare una singola macchina potente per la maggior parte dei carichi di lavoro degli agenti. L'hardware specializzato vale la pena considerarlo solo quando gli agenti hanno bisogno di calcolo parallelo pesante o condividono stato in modi che rendono impraticabile dividerli su più server.

Come differisce un agente AI da un chatbot?

Un chatbot risponde alle domande. Un agente pianifica una sequenza di passaggi, utilizza strumenti come database o compilatori di codice, controlla se ogni passaggio ha funzionato e riprova se non ha funzionato. Questa complessità aggiuntiva è il motivo per cui eseguire gli agenti bene richiede di pensare all'intero sistema, non solo al modello AI al centro di esso.

Questi risultati sono ricerca sottoposta a revisione paritaria?

No. Questo lavoro proviene dagli esperimenti interni di Intel ed è stato pubblicato come contenuto sponsorizzato dal fornitore. Il framework Terminal-Bench sottostante è open-source e disponibile per revisione indipendente, ma i risultati specifici non sono stati replicati indipendentemente o pubblicati in una rivista sottoposta a revisione paritaria.