#inference
14 stories taggedinference.
Los Agentes de IA Pronto Podrían Organizar su Propia Memoria Durante las Tareas
Un nuevo sistema de Apple ML Research permite que un agente de IA decida por sí mismo cuándo comprimir su propia memoria de trabajo, evitando que olvide detalles importantes en el peor momento posible.
Tu MacBook Podría Ejecutar Cargas de Trabajo de IA Mientras Duermes
Apple ML Research ha construido un sistema llamado Minions que agrupa las GPUs inactivas dentro de MacBooks y Mac de escritorio para ejecutar el tipo de tareas de IA que normalmente requieren granjas de servidores costosas.
El modelo de visión de Liquid AI obtiene un aumento de velocidad de hasta 3.13 veces sin cambios en sus respuestas
Un complemento de 280 millones de parámetros permite que LFM2.5-VL-3B genere texto hasta 3.13 veces más rápido en silicio Apple, manteniendo la salida idéntica palabra por palabra.
Hugging Face te permite ejecutar modelos de IA comprimidos en tu Mac con una línea de código
Hugging Face ha integrado soporte GGUF en su biblioteca Transformers, permitiendo a los usuarios de Mac con Apple Silicon cargar y ejecutar modelos de IA ligeros a velocidades que coinciden con aplicaciones locales dedicadas, sin configuración especial requerida.
Anthropic y OpenAI están buscando discretamente pequeños centros de datos en Europa y EE.UU.
Ambos laboratorios están buscando sitios de 20 a 30 megavatios en el Reino Unido, los países nórdicos y EE.UU., un cambio radical respecto a los megaproyectos de escala de gigavatio que anunciaron hace apenas meses.
Qualcomm Lands AWS Partnership to Build AI Data Centre Chips, Shares Jump 10%
Amazon just handed Qualcomm its second major cloud endorsement in months, and the market noticed.
NVIDIA's New Vera Rubin Chip Does 30 Times More AI Work Per Watt Than Its Predecessor
Fresh benchmark data puts NVIDIA's Vera Rubin NVL72 far ahead on energy efficiency for the complex, multi-step AI tasks that companies are building into their products at speed.
Nvidia's $20 Billion Groq Bet Goes Live: What It Means for AI Speed
Nvidia's Groq 3 LPX racks are now in full production and will be online later this year, promising AI responses more than four times faster than OpenAI's current top speed.
An AI chip startup just tripled its valuation in six months. Here's who's paying and why.
Etched has raised $700 million at a $21 billion valuation, led by a Wall Street trading giant that actually tested the hardware first. The numbers are striking. The speed of the rise is even more so.
Groq raises $350 million after ditching its own chips for Nvidia's
Once an Nvidia rival, the startup is now an Nvidia customer. Here is what happened and what it means for the cloud companies racing to run your AI.
El Centro de Datos de IA que Cabe en una Caja: Dentro del Sonic Inference Pod de Runware
Una startup quiere reemplazar los enormes centros de datos que consumen agua con pequeñas unidades informáticas portátiles que pueden enviarse a cualquier lugar con un enchufe de corriente. Esto es lo que está construyendo y si realmente funciona.
Tres estudiantes que abandonaron Harvard acaban de recaudar $300 millones para construir el chip de IA que los rivales dicen que es imposible
Etched alcanzó una valoración de $10.3 mil millones en siete meses apostando a que los chips de IA especializados podrían superar a los de propósito general en velocidad y costo. Esto es lo que significa para cualquiera que pague por ejecutar IA.
Microsoft integra los últimos chips de AMD en Azure para gestionar la sobrecarga de computación en IA
Tres nuevos tipos de máquinas virtuales llegan a la nube de Microsoft, cada una construida en torno a los últimos procesadores de AMD y dirigida a una parte diferente del rompecabezas de cargas de trabajo de IA.
El Problema de la Electricidad en el Corazón de la IA Moderna
Cada centro de datos de IA funciona con un presupuesto energético fijo. La empresa que logra extraer más trabajo útil de cada vatio gana. Esto es lo que significa en términos claros.