#inference
8 stories taggedinference.

NVIDIA's New Vera Rubin Chip Does 30 Times More AI Work Per Watt Than Its Predecessor
A new benchmark puts NVIDIA's Vera Rubin NVL72 hardware far ahead on energy efficiency for the kind of complex, multi-step AI tasks that companies are rapidly building into their products.

Nvidia's $20 Billion Groq Bet Goes Live: What It Means for AI Speed
Nvidia says its Groq 3 LPX racks are now in full production and will be online later this year, promising dramatically faster AI responses for everyday users.

An AI chip startup just tripled its valuation in six months. Here's who's paying and why.
Etched has raised $700 million at a $21 billion valuation, led by a Wall Street trading giant that actually tested the hardware first. The numbers are striking. The speed of the rise is even more so.

Groq raises $350 million after ditching its own chips for Nvidia's
Once an Nvidia rival, the startup is now an Nvidia customer. Here is what happened and what it means for the cloud companies racing to run your AI.

O Centro de Dados de IA que Cabe Numa Caixa: O Interior da Sonic Inference Pod da Runware
Uma startup pretende substituir os enormes centros de dados que consomem muita água por pequenas unidades de computação portáteis que podem ser enviadas para qualquer lugar com uma tomada. Eis o que está a construir e se vale a pena.

Três Desistentes de Harvard Levantaram 300 Milhões para Construir o Chip de IA Que Rivais Dizem Ser Impossível
A Etched atingiu uma avaliação de 10,3 mil milhões de dólares em sete meses apostando que chips de IA especializados poderiam superar os de uso geral em velocidade e custo. Eis o que isso significa para qualquer pessoa que paga para executar IA.

Microsoft integra os processadores mais recentes da AMD no Azure para resolver o congestionamento de computação de IA
Três novos tipos de máquina virtual chegam à cloud da Microsoft, cada um construído com base nos processadores mais recentes da AMD e direcionado para uma parte diferente do puzzle da carga de trabalho de IA.

O Problema da Eletricidade no Coração da IA Moderna
Todos os centros de dados de IA funcionam com um orçamento de energia fixo. A empresa que consegue extrair mais trabalho útil de cada watt vence. Eis o que isso significa em linguagem clara.