GPU inattivi sono i nuovi aeroplani fermi a terra: perché il prossimo problema dell'IA è lo spreco, non l'energia
L'industria dell'IA ha passato anni a gareggiare per costruire modelli più intelligenti e acquistare più chip. Un problema più silenzioso sta ora prendendo forma: l'hardware costoso nei data center spesso non fa molto, e nessuno è stato incaricato di risolvere la questione.
Punti chiave
- I chip GPU, i processori specializzati che eseguono l'IA, costano denaro ogni ora che sono accesi, indipendentemente dal fatto che stiano svolgendo un lavoro utile.
- Anthropic era simultaneamente impegnata in accordi di calcolo IA multi-gigawatt su quattro piattaforme hardware (Amazon, Google, Microsoft e AMD) a partire dal 2026, un segnale che anche i laboratori meglio finanziati considerano l'accesso ai chip come una carenza reale.
- La stessa discrepanza tra costi hardware fissi e domanda variabile che quasi ha fatto naufragare le compagnie aeree ora si applica ai cluster di IA aziendali.
- Le aziende che acquistano i propri chip per sfuggire alle crescenti commissioni API devono affrontare una nuova domanda: come si mantengono quei chip sufficientemente occupati da giustificare la spesa?
Il numero più importante per una compagnia aerea non è quanti aeroplani possiede. È quante ore al giorno quegli aeroplani sono effettivamente in volo.
La logica è semplice. I costi dell'aeromobile, i pagamenti di finanziamento, l'assicurazione, i contratti di manutenzione continuano a contare se l'aereo è al gate o a 10.000 metri di altitudine. I ricavi arrivano solo quando sta volando. Le compagnie che hanno imparato a padroneggiare i rapidi turnaround e gli orari stretti hanno sopravvissuto. Quelle che non lo hanno fatto hanno chiuso, indipendentemente dalle dimensioni della flotta.
Un'analisi pubblicata da Hugging Face sostiene che l'IA aziendale è ora esattamente nella stessa situazione, solo con hardware diverso.
Perché è importante per chi non acquista GPU?
È importante perché i costi delle GPU si trasmettono a tutti coloro che usano strumenti di IA al lavoro, o li pagano come clienti.
Una GPU, un processore specializzato che gestisce i pesanti calcoli numerici che l'IA richiede, accumula costi 24 ore su 24: elettricità, raffreddamento, finanziamento, ammortamento. Il suo output conta solo quando sta eseguendo un compito reale. Due aziende con budget di chip identici possono finire con economie molto diverse a seconda di quanta di quell'hardware è effettivamente occupato in un dato momento.
L'industria ha trascorso la sua prima fase risolvendo un problema diverso. Modelli più grandi, addestrati su più dati, continuavano a battere quelli più piccoli. I conteggi dei parametri, i numeri interni che determinano la capacità di un modello, e le classifiche delle leaderboard hanno dominato la conversazione. Quella corsa ha prodotto modelli abbastanza capaci per un uso serio nel business. Ha anche creato un enorme appetito di chip.
Nel 2020, Microsoft ha costruito per OpenAI un supercomputer dedicato con più di 10.000 GPU per addestrare GPT-3, il modello dietro la prima versione di ChatGPT. A quel tempo, quel numero sembrava quasi impossibile da immaginare. Entro il 2026, sembra modesto.
Che aspetto ha lo spreco all'interno di un cluster di chip?
L'hardware che sembra occupato può ancora sprecare la maggior parte della sua capacità. Il problema è che diversi compiti di IA vogliono cose diverse dallo stesso chip.
L'inferenza in tempo reale, generare una risposta di IA in secondi, richiede al di sopra di tutto una bassa latenza. L'elaborazione in batch, l'analisi di grandi set di dati durante la notte, si preoccupa della velocità totale e può attendere. L'addestramento di un modello può occupare un chip solidamente per giorni. La compressione di un modello (un processo chiamato quantizzazione) richiede un grande picco di capacità per un breve periodo, poi nulla.
Un sistema di programmazione ottimizzato per uno di questi compiti gestiranno gli altri male quasi per impostazione predefinita. Un cluster può mostrare un utilizzo medio elevato su un dashboard mentre compiti specifici rimangono in coda in attesa che il tipo di chip giusto si liberi.
Il modello rispecchia il problema dell'aviazione, ma con una piega aggiuntiva. Un aeroplano inattivo di solito può essere dirottato su un percorso diverso con breve preavviso. Una GPU configurata per una classe di carico di lavoro non sempre può assorbire un'altra senza riconfigurazione, ritardo o spreco.
| Era | Vincolo vincolante | Chi l'ha sentito per primo |
|---|---|---|
| 2018 a 2021 | Qualità del modello | Laboratori di ricerca |
| 2022 a 2024 | Fornitura di chip | Laboratori e provider cloud |
| 2025 in poi | Utilizzo di chip | Aziende che gestiscono cluster propri |
Cosa dovrebbero trarre le aziende che costruiscono su IA da questo?
Il risultato pratico è semplice. Firmare un accordo per la capacità GPU è la parte che ha una scadenza e un team di procurement. Mantenere quella capacità in funzione è la parte che tranquillamente decide se l'accordo ne valeva la pena.
Le aziende che si sono allontanate dai prezzi API pay-per-use, dove i costi aumentano in linea retta con ogni query, verso il possesso del proprio hardware affrontano un calcolo del break-even. Al di sotto di un certo livello di utilizzo, l'API è più economica. Al di sopra di esso, l'infrastruttura di proprietà vince. Ma l'infrastruttura di proprietà vince solo se qualcuno è responsabile di mantenerla occupata.
Al momento, tale responsabilità è in gran parte assente. L'industria dell'aviazione ha impiegato decenni e diversi fallimenti per fare dell'utilizzo un numero a livello di consiglio di amministrazione. L'infrastruttura di IA potrebbe non avere tanto tempo.
