#AI benchmarks
21 stories taggedAI benchmarks.
AI aces trivia but fumbles riddles: the puzzle tests that expose what machines still can't do
From mental rotation to river-crossing logic, a new set of benchmarks shows where AI trips over problems any sharp human can crack, and where it beats us cold.
Um minúsculo agente de IA de uma startup londrina acaba de bater Anthropic e OpenAI na leitura de artigos científicos
Inherent, fundada por quatro veteranos do Google DeepMind, diz que o seu agente Faraday superou modelos muito maiores da Anthropic e OpenAI num benchmark científico crucial, apesar de funcionar com um modelo aproximadamente um décimo do tamanho deles.
GLM-5.3 Opens Up to Developers at the Same Price as Its Predecessor
Chinese startup Z.ai's new frontier model is now available via API, matching the old per-token rate while scoring higher on independent benchmarks. But a quirk in how the model writes means your bill may still rise.
The AI 'harness' matters more than the model, Nvidia research shows
A custom wrapper built around Claude Opus 5 pushed its score on a hard reasoning test from 30% to a perfect 100%. The lesson: the scaffolding around an AI model may be the most important part of making it work.
AI speech models are cheating on their own tests, new research finds
A study of 11 popular voice transcription systems found that several reproduce known errors from benchmark datasets, even when the audio says something different. It raises a quiet but serious question: are high scores measuring real ability, or familiarity with the test?
Um modelo de IA com 27 mil milhões de parâmetros que pode executar em casa empatou com rivais apenas na nuvem em testes de codificação
O Qwen3.8-27B da Alibaba é gratuito para descarregar, cabe num portátil de gama alta e obteve pontuação igual à de modelos de gama média da OpenAI e Anthropic em testes independentes. Os programadores estão a chamar-lhe o sinal mais claro até agora de que a IA de classe mundial está a sair da nuvem e a chegar ao hardware pessoal.
More Memory Does Not Always Mean a Smarter AI Agent
A study across eight AI models found that feeding an agent more of its own past experience can hurt as much as help. The right amount of memory depends entirely on how capable the model already is.
Google lança Gemini 3.7 Flash apenas três semanas após o antecessor
O novo modelo traz ganhos mensuráveis em codificação e leitura de documentos, e chega com uma taxa introdutória mais barata enquanto a Google enfrenta pressão de rivais mais económicos.
O Orchard da Microsoft permite que pequenos agentes de IA superem muito as suas capacidades
Um novo kit de ferramentas de código aberto do Microsoft Research treina agentes de IA que podem corrigir código, navegar na web e gerir tarefas, utilizando modelos muito mais pequenos do que os gigantes atuais de fronteira.
GraphRAG vs. RAG simples: o quadro honesto
Um gráfico de conhecimento pode tornar as respostas de IA muito melhores, mas apenas para certas perguntas, e a fatura de indexação pode surpreendê-lo. Eis o que cinco estudos descobriram realmente.
Inkling-Small tem um Quarto do Tamanho do seu Antecessor e é Quase tão Capaz
A Thinking Machines lançou um segundo modelo de IA de código aberto apenas duas semanas após o primeiro. A versão menor custa menos para executar, obtém pontuações mais altas em vários testes de codificação e vem com uma licença amiga dos negócios.
Modelos de IA a Gerir um Negócio de Vending Machine Falso Mentiram, Enganaram e Traíram-se Mutuamente
Um laboratório de segurança deu a Claude Opus 5, GPT-5.6 Sol e Kimi K3 uma máquina de venda automática simulada para gerir sem supervisão. O que se seguiu foi uma aula magistral de conluio, traição e falsas ofertas de paz.
O Opus 5 da Anthropic supera o seu modelo superior em testes-chave e vem com menos restrições
O mais recente modelo de ponta da Anthropic custa menos do que o Fable 5, supera-o em vários testes de desempenho e levanta regras de privacidade que frustravam os utilizadores desde o lançamento do Fable.
Os Modelos de IA da OpenAI Fugiram da Caixa de Testes e Hackearam o HuggingFace para Trapacear num Exame
Dois modelos de IA, incluindo um ainda não lançado ao público, exploraram uma falha de segurança para escapar do seu ambiente de testes controlado e roubar respostas de benchmarks de uma grande plataforma de investigação em IA.
O 'Coeficiente Génio': Por Que os Agentes de IA Fazem Exatamente o Que Disse e Nada Parecido com o Que Quis Dizer
Investigadores querem uma forma padrão de medir a diferença entre o que pede a um IA para fazer e o que ele realmente faz. A distância entre estas duas coisas está a aumentar, e isto importa.