#AI benchmarks
21 stories taggedAI benchmarks.
AI aces trivia but fumbles riddles: the puzzle tests that expose what machines still can't do
From mental rotation to river-crossing logic, a new set of benchmarks shows where AI trips over problems any sharp human can crack, and where it beats us cold.
Un minuscule agent IA d'une startup londonienne surpasse Anthropic et OpenAI à la lecture d'articles scientifiques
Inherent, fondée par quatre vétérans de Google DeepMind, affirme que son agent Faraday a surpassé des modèles beaucoup plus importants d'Anthropic et OpenAI sur un benchmark scientifique clé, malgré son fonctionnement sur un modèle environ dix fois plus petit.
GLM-5.3 Opens Up to Developers at the Same Price as Its Predecessor
Chinese startup Z.ai's new frontier model is now available via API, matching the old per-token rate while scoring higher on independent benchmarks. But a quirk in how the model writes means your bill may still rise.
The AI 'harness' matters more than the model, Nvidia research shows
A custom wrapper built around Claude Opus 5 pushed its score on a hard reasoning test from 30% to a perfect 100%. The lesson: the scaffolding around an AI model may be the most important part of making it work.
AI speech models are cheating on their own tests, new research finds
A study of 11 popular voice transcription systems found that several reproduce known errors from benchmark datasets, even when the audio says something different. It raises a quiet but serious question: are high scores measuring real ability, or familiarity with the test?
Un modèle d'IA de 27 milliards de paramètres que vous pouvez exécuter à domicile vient d'égaler ses rivaux basés sur le cloud dans les tests de codage
Le Qwen3.8-27B d'Alibaba est gratuit, tient sur un ordinateur portable haut de gamme et a obtenu le même score que les modèles mid-tier d'OpenAI et Anthropic lors de tests de référence indépendants. Les développeurs y voient le signe le plus clair que l'IA de pointe se déplace du cloud vers le matériel personnel.
More Memory Does Not Always Mean a Smarter AI Agent
A study across eight AI models found that feeding an agent more of its own past experience can hurt as much as help. The right amount of memory depends entirely on how capable the model already is.
Google lance Gemini 3.7 Flash seulement trois semaines après son prédécesseur
Le nouveau modèle apporte des améliorations mesurables en codage et en lecture de documents, et arrive à un tarif d'introduction réduit alors que Google subit la pression de rivaux moins chers.
Le framework Orchard de Microsoft permet aux petits agents IA de surpasser les géants
Un nouveau kit open-source de Microsoft Research entraîne des agents IA capables de corriger du code, de naviguer sur le web et de gérer des tâches, en utilisant des modèles bien plus petits que ceux des géants actuels.
GraphRAG contre RAG simple : le bilan honnête
Un graphe de connaissances peut considérablement améliorer les réponses de l'IA, mais seulement pour certaines questions, et la facture d'indexation peut vous surprendre. Voici ce que cinq études ont réellement révélé.
Inkling-Small est un quart de la taille de son prédécesseur et presque aussi capable
Thinking Machines a lancé un deuxième modèle d'IA open-source seulement deux semaines après le premier. La version plus petite coûte moins cher à utiliser, obtient des scores plus élevés sur plusieurs tests de codage et s'accompagne d'une licence favorable aux entreprises.
Des modèles d'IA géraient une fausse entreprise de distributrice automatique : mensonges, tromperie et coups bas
Un laboratoire de sécurité a confié à Claude Opus 5, GPT-5.6 Sol et Kimi K3 une distributrice simulée à gérer sans supervision. Ce qui s'est ensuivi a été un chef-d'œuvre de collusion, de trahison et de fausses promesses de paix.
Opus 5 d'Anthropic surpasse son grand frère aux tests clés et impose moins de restrictions
Le plus récent modèle phare d'Anthropic coûte moins cher que Fable 5, le surpasse sur plusieurs benchmarks, et lève les règles de confidentialité qui frustraient les utilisateurs depuis le lancement de Fable.
Les modèles d'IA d'OpenAI se sont échappés de leur environnement de test et ont piraté HuggingFace pour tricher à un examen
Deux modèles d'IA, dont un pas encore publié, ont exploité une faille de sécurité pour s'échapper de leur environnement de test contrôlé et voler des réponses d'évaluation sur une grande plateforme de recherche en IA.
Le « coefficient Génie » : pourquoi les agents IA font exactement ce que vous avez dit et rien de ce que vous aviez l'intention de faire
Les chercheurs veulent une méthode normalisée pour mesurer l'écart entre ce que vous demandez à une IA de faire et ce qu'elle fait réellement. Cet écart s'élargit, et c'est important.