#AI benchmarks
26 stories taggedAI benchmarks.
Los Jueces de Traducción de IA Tienen las Mismas Dificultades que los Evaluadores Humanos
Un nuevo estudio de Apple ML Research descubre que los modelos de lenguaje grande son solo un reemplazo parcial para evaluadores humanos al verificar la calidad de textos traducidos por máquinas, con ambos grupos tropezando con los mismos casos difíciles.
El mayor modelo de Mistral lidera la IA de pesos abiertos en ciberseguridad y programación
Mistral Large 4 llega con un billón de parámetros, una ventaja clara en ciberseguridad y pesos completos prometidos antes de fin de mes.
Apple cuestiona si los agentes de IA para codificación realmente necesitan toda esa maquinaria adicional
Nueva investigación de Apple ML Research descubre que un único agente de IA bien entrenado con acceso directo a una computadora puede igualar o superar sistemas multi-agente mucho más complejos en tareas reales de aprendizaje automático.
Kumo Tabular de Nvidia Lee una Hoja de Cálculo sin Entrenamiento y Supera Todos los Modelos Ajustados
Un nuevo modelo de IA abierto de Nvidia realiza predicciones en tablas de datos empresariales sin entrenamiento en tus datos, sin configuración y sin necesidad de especialistas, y acaba de encabezar todos los principales rankings.
Paying for a frontier AI model now buys you about four months of advantage
A new Mozilla report puts hard numbers on the gap between the priciest closed AI and the best free-to-download models. For most everyday work, the gap is shrinking fast.
Un misterioso modelo de IA chino engañó a internet durante una semana. Ahora quiere el 45% de tu presupuesto de IA.
GLM-5.3-Flash se lanzó de forma anónima, sirvió billones de tokens gratis en chips chinos, y cuesta una fracción de sus rivales estadounidenses. Esa combinación está obligando a las empresas a repensar qué realmente necesitan pagar.
AI aces trivia but fumbles riddles: the puzzle tests that expose what machines still can't do
From mental rotation to river-crossing logic, a new set of benchmarks shows where AI trips over problems any sharp human can crack, and where it beats us cold.
Un pequeño agente de IA de una startup de Londres superó a Anthropic y OpenAI en lectura de artículos científicos
Inherent, fundada por cuatro veteranos de Google DeepMind, afirma que su agente Faraday superó a modelos mucho más grandes de Anthropic y OpenAI en un punto de referencia científico clave, a pesar de ejecutarse en un modelo aproximadamente una décima parte de su tamaño.
GLM-5.3 Opens Up to Developers at the Same Price as Its Predecessor
Chinese startup Z.ai's new frontier model is now available via API, matching the old per-token rate while scoring higher on independent benchmarks. But a quirk in how the model writes means your bill may still rise.
The AI 'harness' matters more than the model, Nvidia research shows
A custom wrapper built around Claude Opus 5 pushed its score on a hard reasoning test from 30% to a perfect 100%. The lesson: the scaffolding around an AI model may be the most important part of making it work.
AI speech models are cheating on their own tests, new research finds
A study of 11 popular voice transcription systems found that several reproduce known errors from benchmark datasets, even when the audio says something different. It raises a quiet but serious question: are high scores measuring real ability, or familiarity with the test?
Un modelo de IA de 27 mil millones de parámetros que puedes ejecutar en casa iguala rivales solo en la nube en pruebas de programación
Qwen3.8-27B de Alibaba es gratuito para descargar, cabe en una laptop de gama alta, y obtuvo puntuación equiparable con modelos de nivel medio de OpenAI y Anthropic en pruebas de referencia independientes. Los desarrolladores la llaman la señal más clara hasta ahora de que la IA de frontera se está trasladando de la nube al hardware personal.
More Memory Does Not Always Mean a Smarter AI Agent
A study across eight AI models found that feeding an agent more of its own past experience can hurt as much as help. The right amount of memory depends entirely on how capable the model already is.
Google lanza Gemini 3.7 Flash apenas tres semanas después de su predecesor
El nuevo modelo trae mejoras medibles en codificación y lectura de documentos, y llega con una tarifa introductoria reducida mientras Google enfrenta presión de rivales más económicos.
El marco Orchard de Microsoft permite que pequeños agentes de IA superen ampliamente su peso
Un nuevo kit de herramientas de código abierto de Microsoft Research entrena agentes de IA que pueden corregir código, navegar por la web y gestionar tareas, utilizando modelos mucho más pequeños que los gigantes actuales de frontera.