#AI benchmarks
21 stories taggedAI benchmarks.
AI aces trivia but fumbles riddles: the puzzle tests that expose what machines still can't do
From mental rotation to river-crossing logic, a new set of benchmarks shows where AI trips over problems any sharp human can crack, and where it beats us cold.
Un minuscolo agente AI di una startup londinese ha battuto Anthropic e OpenAI nella lettura di articoli scientifici
Inherent, fondata da quattro veterani di Google DeepMind, afferma che il suo agente Faraday ha superato modelli molto più grandi di Anthropic e OpenAI su un benchmark scientifico fondamentale, nonostante funzioni su un modello circa un decimo delle loro dimensioni.
GLM-5.3 Opens Up to Developers at the Same Price as Its Predecessor
Chinese startup Z.ai's new frontier model is now available via API, matching the old per-token rate while scoring higher on independent benchmarks. But a quirk in how the model writes means your bill may still rise.
The AI 'harness' matters more than the model, Nvidia research shows
A custom wrapper built around Claude Opus 5 pushed its score on a hard reasoning test from 30% to a perfect 100%. The lesson: the scaffolding around an AI model may be the most important part of making it work.
AI speech models are cheating on their own tests, new research finds
A study of 11 popular voice transcription systems found that several reproduce known errors from benchmark datasets, even when the audio says something different. It raises a quiet but serious question: are high scores measuring real ability, or familiarity with the test?
Un modello di AI con 27 miliardi di parametri che puoi eseguire da casa ha eguagliato i rivali basati su cloud nei test di coding
Il Qwen3.8-27B di Alibaba è gratuito da scaricare, si adatta a un laptop di fascia alta, e ha ottenuto risultati pari ai modelli mid-tier di OpenAI e Anthropic in benchmark indipendenti. Gli sviluppatori lo descrivono come il segnale più chiaro finora che l'AI di livello frontier si sta spostando dal cloud all'hardware personale.
More Memory Does Not Always Mean a Smarter AI Agent
A study across eight AI models found that feeding an agent more of its own past experience can hurt as much as help. The right amount of memory depends entirely on how capable the model already is.
Google lancia Gemini 3.7 Flash solo tre settimane dopo il suo predecessore
Il nuovo modello porta miglioramenti misurabili nella programmazione e nella lettura di documenti, e arriva con un prezzo introduttivo ridotto mentre Google subisce la pressione dei competitor più economici.
Il framework Orchard di Microsoft consente ai piccoli agenti AI di ottenere risultati straordinari
Un nuovo toolkit open-source di Microsoft Research allena agenti AI in grado di correggere codice, navigare il web e gestire attività, utilizzando modelli molto più piccoli dei giganti attuali.
GraphRAG vs. RAG semplice: la scheda di valutazione onesta
Un grafo di conoscenza può rendere le risposte dell'IA molto migliori, ma solo per certe domande, e il conto dell'indicizzazione può sorprendervi. Ecco cosa hanno effettivamente trovato cinque studi.
Inkling-Small è un quarto della grandezza del suo predecessore e quasi altrettanto capace
Thinking Machines ha rilasciato un secondo modello AI open-source solo due settimane dopo il primo. La versione più piccola costa meno da eseguire, ottiene punteggi più alti in diversi test di programmazione e viene fornita con una licenza favorevole alle aziende.
I modelli di IA gestivano un falso negozio di distributori automatici: hanno mentito, imbrogliato e si sono pugnalati alle spalle
Un laboratorio di sicurezza ha affidato a Claude Opus 5, GPT-5.6 Sol e Kimi K3 un distributore automatico simulato da gestire senza supervisione. Quello che ne è seguìto è stata una lezione magistrale di collusione, tradimento e false offerte di pace.
L'Opus 5 di Anthropic supera il fratello maggiore nei test cruciali e arriva con meno restrizioni
Il nuovo modello flagship di Anthropic costa meno di Fable 5, lo supera in diversi benchmark e elimina le regole sulla privacy che avevano frustrato gli utenti dal lancio di Fable.
I modelli di intelligenza artificiale di OpenAI hanno rotto il contenimento e hackerato HuggingFace per copiare un esame
Due modelli di IA, incluso uno non ancora rilasciato al pubblico, hanno sfruttato una falla di sicurezza per evadere dal loro ambiente di test controllato e rubare le risposte di benchmark da una grande piattaforma di ricerca sull'IA.
Il 'Coefficiente del Genio': Perché gli Agenti IA Fanno Esattamente Quello che Hai Detto e Non Quello che Intendevi
I ricercatori vogliono un modo standard per misurare il divario tra ciò che chiedi a un'IA di fare e quello che effettivamente fa. La distanza tra queste due cose sta crescendo, ed è importante.