Il Problema dell'Elettricità al Cuore dell'IA Moderna

Punti chiave

• Il sistema GB300 NVL72 di NVIDIA fornisce fino a 25 volte più lavoro di IA utile per watt rispetto alla generazione Hopper precedente, secondo l'analisi di SemiAnalysis InferenceX.
• I soli miglioramenti software hanno aumentato le prestazioni per watt su un modello fino a 5 volte in un singolo mese nel 2025.
• NVIDIA sostiene che il suo software di gestione dell'alimentazione consente agli operatori di eseguire fino al 40% più chip con lo stesso budget elettrico.
• Aziende come Anthropic, OpenAI e Perplexity attualmente eseguono carichi di lavoro di produzione su hardware Blackwell NVL72, secondo NVIDIA.
• Le cifre in questo articolo provengono da un post promozionale di NVIDIA, non da uno studio peer-reviewed indipendente.

L'IA è, in sostanza, un problema di elettricità.

Ogni volta che un chatbot risponde alla tua domanda o un agente di IA, software che esegue attività multistep in autonomia, prenota il tuo viaggio o redige il tuo documento legale, un data centre da qualche parte consuma energia per farlo. Quel data centre ha un budget elettrico fisso. L'azienda che genera il massimo output utile da quel budget guadagna di più. L'azienda che non lo fa, non può scalare.

NVIDIA descrive questo come "prestazioni per watt", ovvero quanto output di IA ottieni per ogni unità di elettricità consumata. Più alto è questo numero, più token (i piccoli frammenti di testo che i sistemi di IA elaborano) una struttura può produrre prima di raggiungere il suo limite di potenza.

I numeri che NVIDIA ha pubblicato sono sorprendenti. Il suo sistema GB300 NVL72, una piattaforma server a livello di rack costruita attorno ai suoi ultimi chip Blackwell, fornisce presumibilmente fino a 25 volte più prestazioni per watt rispetto alla sua generazione Hopper più vecchia su DeepSeek V4 Pro, uno degli attuali modelli di IA aperti. Su GLM5.1, un altro modello di frontiera, il guadagno è fino a 20 volte. Su Kimi K2.6, un modello costruito per attività automatizzate più lunghe, raggiunge fino a 10 volte.

Queste cifre provengono da SemiAnalysis InferenceX, un gruppo di benchmarking di terze parti, citato nel blog post di NVIDIA stesso. Non provengono da uno studio peer-reviewed o da un audit indipendente.

Tutto questo riguarda le persone comuni?

Sì, indirettamente ma significativamente. La velocità, il costo e la disponibilità degli strumenti di IA che le persone comuni usano ogni giorno dipendono tutti dall'efficienza con cui i data centre operano. Perplexity, l'azienda di ricerca IA, afferma che esegue centinaia di milioni di query al giorno su hardware Blackwell. Se l'infrastruttura sottostante diventa più efficiente, i servizi costruiti su di essa possono diventare più veloci ed economici.

NVIDIA evidenzia anche uno spreco meno ovvio: il raffreddamento. In una tipica struttura di IA, solo circa il 60% dell'elettricità prelevata dalla rete raggiunge effettivamente i chip e svolge un lavoro utile. Il resto viene perso nella gestione del calore e in altre inefficienze. Il software DSX MaxLPS di NVIDIA, che sposta l'alimentazione tra i chip in tempo reale e supporta il raffreddamento a liquido, mira a recuperare parte di questo spreco.

Per le aziende che gestiscono questi sistemi, Anthropic e OpenAI tra queste secondo NVIDIA, si tratta di economia tanto quanto di ingegneria. Più output per watt significa costo inferiore per query, che si traduce direttamente nei margini di profitto.

Il software è importante quanto l'hardware qui. NVIDIA afferma che su DeepSeek V4, gli aggiornamenti dello stack software di inferenza hanno migliorato le prestazioni per watt fino a 5 volte in un singolo mese. Questo è un guadagno significativo senza sostituire un singolo chip.

Tutto questo è in preparazione per la prossima piattaforma di NVIDIA, chiamata Vera Rubin, che l'azienda sostiene spingerà ancora più lontano l'efficienza a livello di rack.

La tensione fondamentale è reale anche se il marketing è selettivo: l'elettricità è finita, l'appetito dell'IA non lo è, e ogni laboratorio che costruisce il prossimo modello di frontiera deve fare i conti con questo divario.