#inference
8 stories taggedinference.

NVIDIA's New Vera Rubin Chip Does 30 Times More AI Work Per Watt Than Its Predecessor
A new benchmark puts NVIDIA's Vera Rubin NVL72 hardware far ahead on energy efficiency for the kind of complex, multi-step AI tasks that companies are rapidly building into their products.

Nvidia's $20 Billion Groq Bet Goes Live: What It Means for AI Speed
Nvidia says its Groq 3 LPX racks are now in full production and will be online later this year, promising dramatically faster AI responses for everyday users.

An AI chip startup just tripled its valuation in six months. Here's who's paying and why.
Etched has raised $700 million at a $21 billion valuation, led by a Wall Street trading giant that actually tested the hardware first. The numbers are striking. The speed of the rise is even more so.

Groq raises $350 million after ditching its own chips for Nvidia's
Once an Nvidia rival, the startup is now an Nvidia customer. Here is what happened and what it means for the cloud companies racing to run your AI.

Le centre de données IA qui tient dans une boîte : à l'intérieur du Sonic Inference Pod de Runware
Une startup veut remplacer les géants centres de données consommateurs d'eau par de petites unités informatiques portables qui peuvent être expédiées n'importe où il y a une prise électrique. Voici ce qu'elle construit et si cela tient ses promesses.

Trois décrocheurs de Harvard viennent de lever 300 millions de dollars pour construire la puce IA que les rivaux disent impossible
Etched a atteint une valorisation de 10,3 milliards de dollars en sept mois en pariant que les puces IA spécialisées pourraient surpasser les puces polyvalentes en vitesse et en coût. Voici ce que cela signifie pour tous ceux qui paient pour exécuter l'IA.

Microsoft intègre les derniers processeurs AMD à Azure pour gérer la pénurie de puissance de calcul IA
Trois nouveaux types de machines virtuelles arrivent dans le cloud Microsoft, chacun construit autour des derniers processeurs AMD et ciblant une facette différente du casse-tête des charges de travail IA.

Le problème électrique au cœur de l'IA moderne
Chaque centre de données IA fonctionne avec un budget énergétique fixe. L'entreprise qui tire le plus de travail utile de chaque watt gagne. Voici ce que cela signifie en termes clairs.