#inference
8 stories taggedinference.

NVIDIA's New Vera Rubin Chip Does 30 Times More AI Work Per Watt Than Its Predecessor
A new benchmark puts NVIDIA's Vera Rubin NVL72 hardware far ahead on energy efficiency for the kind of complex, multi-step AI tasks that companies are rapidly building into their products.

Nvidia's $20 Billion Groq Bet Goes Live: What It Means for AI Speed
Nvidia says its Groq 3 LPX racks are now in full production and will be online later this year, promising dramatically faster AI responses for everyday users.

An AI chip startup just tripled its valuation in six months. Here's who's paying and why.
Etched has raised $700 million at a $21 billion valuation, led by a Wall Street trading giant that actually tested the hardware first. The numbers are striking. The speed of the rise is even more so.

Groq raises $350 million after ditching its own chips for Nvidia's
Once an Nvidia rival, the startup is now an Nvidia customer. Here is what happened and what it means for the cloud companies racing to run your AI.

Das AI-Rechenzentrum in einer Box: Einblick in Runwares Sonic Inference Pod
Ein Startup möchte riesige, wasserverbrauchende Rechenzentren durch kleine, tragbare Recheneinheiten ersetzen, die überall dort versandt werden können, wo es eine Stromsteckdose gibt. Hier ist, was es baut, und ob es haltbar ist.

Drei Harvard-Aussteiger sammelten gerade 300 Millionen Dollar ein, um den KI-Chip zu bauen, den Konkurrenten für unmöglich halten
Etched erreichte in sieben Monaten eine Bewertung von 10,3 Milliarden Dollar, indem das Unternehmen darauf setzte, dass spezialisierte KI-Chips allgemeine Chips bei Geschwindigkeit und Kosten schlagen können. Hier ist, was das für jeden bedeutet, der KI-Modelle betreibt.

Microsoft nutzt AMDs neueste Chips in Azure zur Bewältigung der KI-Rechenleistungskrise
Drei neue Virtual-Machine-Typen landen in Microsofts Cloud-Plattform, jeder basierend auf AMDs neuesten Prozessoren und für verschiedene Aspekte der KI-Workload-Bewältigung konzipiert.

Das Stromprobleme im Kern der modernen KI
Jedes KI-Datenzentrum arbeitet mit einem festen Strombudget. Das Unternehmen, das die meiste sinnvolle Arbeit pro Watt herausholt, gewinnt. Hier ist, was das bedeutet – in klaren Worten.