#inference
8 stories taggedinference.
NVIDIA's New Vera Rubin Chip Does 30 Times More AI Work Per Watt Than Its Predecessor
A new benchmark puts NVIDIA's Vera Rubin NVL72 hardware far ahead on energy efficiency for the kind of complex, multi-step AI tasks that companies are rapidly building into their products.
Nvidia's $20 Billion Groq Bet Goes Live: What It Means for AI Speed
Nvidia says its Groq 3 LPX racks are now in full production and will be online later this year, promising dramatically faster AI responses for everyday users.
An AI chip startup just tripled its valuation in six months. Here's who's paying and why.
Etched has raised $700 million at a $21 billion valuation, led by a Wall Street trading giant that actually tested the hardware first. The numbers are striking. The speed of the rise is even more so.
Groq raises $350 million after ditching its own chips for Nvidia's
Once an Nvidia rival, the startup is now an Nvidia customer. Here is what happened and what it means for the cloud companies racing to run your AI.
ЦОД искусственного интеллекта в коробке: внутри Sonic Inference Pod от Runware
Стартап хочет заменить огромные, требующие больших объемов воды центры обработки данных на малогабаритные портативные вычислительные модули, которые можно доставить в любое место с электросетью. Вот что компания строит и стоит ли это результата.
Три выпускника Гарварда привлекли $300 млн на создание чипа для ИИ, который конкуренты называют невозможным
Etched достигла оценки в $10,3 млрд за семь месяцев, поставив на то, что специализированные чипы для ИИ могут превзойти универсальные по скорости и стоимости. Вот что это означает для всех, кто платит за использование ИИ.
Microsoft использует новейшие процессоры AMD в Azure для решения проблемы дефицита вычислительных мощностей ИИ
Три новых типа виртуальных машин появились в облаке Microsoft, каждый построен на базе новейших процессоров AMD и предназначен для решения различных задач в сфере ИИ.
Проблема электроэнергии в сердце современного ИИ
Каждый центр данных ИИ работает с фиксированным энергобюджетом. Компания, которая извлекает максимум полезной работы из каждого ватта, побеждает. Вот что это означает простым языком.