#inference
8 stories taggedinference.

NVIDIA's New Vera Rubin Chip Does 30 Times More AI Work Per Watt Than Its Predecessor
A new benchmark puts NVIDIA's Vera Rubin NVL72 hardware far ahead on energy efficiency for the kind of complex, multi-step AI tasks that companies are rapidly building into their products.

Nvidia's $20 Billion Groq Bet Goes Live: What It Means for AI Speed
Nvidia says its Groq 3 LPX racks are now in full production and will be online later this year, promising dramatically faster AI responses for everyday users.

An AI chip startup just tripled its valuation in six months. Here's who's paying and why.
Etched has raised $700 million at a $21 billion valuation, led by a Wall Street trading giant that actually tested the hardware first. The numbers are striking. The speed of the rise is even more so.

Groq raises $350 million after ditching its own chips for Nvidia's
Once an Nvidia rival, the startup is now an Nvidia customer. Here is what happened and what it means for the cloud companies racing to run your AI.

Il Data Center AI che Entra in una Scatola: All'Interno del Sonic Inference Pod di Runware
Una startup vuole sostituire i giganteschi data center che consumano enormi quantità di acqua con piccole unità di calcolo portatili che possono essere spedite ovunque ci sia una presa di corrente. Ecco cosa sta costruendo e se regge il confronto.

Tre abbandoni di Harvard hanno raccolto 300 milioni di dollari per costruire il chip AI che i rivali dicono sia impossibile
Etched ha raggiunto una valutazione di 10,3 miliardi di dollari in sette mesi scommettendo che i chip AI specializzati potrebbero battere quelli per uso generale in velocità e costi. Ecco cosa significa per chiunque paghi per far girare l'AI.

Microsoft integra i nuovi chip AMD in Azure per affrontare la carenza di risorse di calcolo AI
Tre nuovi tipi di macchina virtuale arrivano nel cloud di Microsoft, ognuno costruito attorno ai processori più recenti di AMD e mirato a una diversa parte del puzzle dei carichi di lavoro AI.

Il Problema dell'Elettricità al Cuore dell'IA Moderna
Ogni data centre di IA funziona con un budget energetico fisso. L'azienda che estrae il massimo lavoro utile da ogni watt vince. Ecco cosa significa in parole semplici.