#inference
8 stories taggedinference.

NVIDIA's New Vera Rubin Chip Does 30 Times More AI Work Per Watt Than Its Predecessor
A new benchmark puts NVIDIA's Vera Rubin NVL72 hardware far ahead on energy efficiency for the kind of complex, multi-step AI tasks that companies are rapidly building into their products.

Nvidia's $20 Billion Groq Bet Goes Live: What It Means for AI Speed
Nvidia says its Groq 3 LPX racks are now in full production and will be online later this year, promising dramatically faster AI responses for everyday users.

An AI chip startup just tripled its valuation in six months. Here's who's paying and why.
Etched has raised $700 million at a $21 billion valuation, led by a Wall Street trading giant that actually tested the hardware first. The numbers are striking. The speed of the rise is even more so.

Groq raises $350 million after ditching its own chips for Nvidia's
Once an Nvidia rival, the startup is now an Nvidia customer. Here is what happened and what it means for the cloud companies racing to run your AI.

El Centro de Datos de IA que Cabe en una Caja: Dentro del Sonic Inference Pod de Runware
Una startup quiere reemplazar enormes centros de datos que consumen mucha agua con pequeñas unidades de computación portátiles que pueden enviarse a cualquier lugar donde haya un enchufe. Esto es lo que está construyendo y si funciona realmente.

Tres Universitarios que Abandonaron Harvard Recaudaron $300 Millones para Construir el Chip de IA que los Rivales Dicen que es Imposible
Etched alcanzó una valoración de $10.3 mil millones en siete meses al apostar que los chips de IA especializados podrían superar a los de propósito general en velocidad y costo. Esto es lo que significa para cualquiera que pague por ejecutar IA.

Microsoft integra los últimos chips de AMD en Azure para afrontar la demanda de computación de IA
Tres nuevos tipos de máquinas virtuales llegan a la nube de Microsoft, cada una basada en los últimos procesadores de AMD y dirigida a una parte diferente del rompecabezas de cargas de trabajo de IA.

El problema de electricidad en el corazón de la IA moderna
Cada centro de datos de IA funciona con un presupuesto de energía fijo. La empresa que logra más trabajo útil de IA por vatio gana. Aquí está lo que significa en términos simples.