#AI benchmarks
21 stories taggedAI benchmarks.
AI aces trivia but fumbles riddles: the puzzle tests that expose what machines still can't do
From mental rotation to river-crossing logic, a new set of benchmarks shows where AI trips over problems any sharp human can crack, and where it beats us cold.
Крошечный AI-агент лондонского стартапа превзошёл Anthropic и OpenAI в чтении научных статей
Inherent, основанная четырьмя ветеранами Google DeepMind, заявляет, что её агент Faraday превзошёл значительно более крупные модели Anthropic и OpenAI по ключевому научному бенчмарку, работая на модели примерно в десять раз меньшего размера.
GLM-5.3 Opens Up to Developers at the Same Price as Its Predecessor
Chinese startup Z.ai's new frontier model is now available via API, matching the old per-token rate while scoring higher on independent benchmarks. But a quirk in how the model writes means your bill may still rise.
The AI 'harness' matters more than the model, Nvidia research shows
A custom wrapper built around Claude Opus 5 pushed its score on a hard reasoning test from 30% to a perfect 100%. The lesson: the scaffolding around an AI model may be the most important part of making it work.
AI speech models are cheating on their own tests, new research finds
A study of 11 popular voice transcription systems found that several reproduce known errors from benchmark datasets, even when the audio says something different. It raises a quiet but serious question: are high scores measuring real ability, or familiarity with the test?
27-миллиардный параметр AI-модель, которую можно запустить дома, сравнялась с облачными конкурентами в тестах кодирования
Qwen3.8-27B компании Alibaba доступна для бесплатной загрузки, помещается на мощный ноутбук и получила результаты, равные моделям среднего уровня OpenAI и Anthropic по независимым тестам. Разработчики называют это наиболее ярким признаком того, что AI уровня frontier переходит с облака на персональное оборудование.
More Memory Does Not Always Mean a Smarter AI Agent
A study across eight AI models found that feeding an agent more of its own past experience can hurt as much as help. The right amount of memory depends entirely on how capable the model already is.
Google запустила Gemini 3.7 Flash всего три недели после предыдущей версии
Новая модель демонстрирует заметный прогресс в написании кода и чтении документов и предлагается по сниженной вводной цене, поскольку Google испытывает давление со стороны более дешёвых конкурентов.
Фреймворк Orchard от Microsoft позволяет небольшим AI-агентам значительно превосходить свои возможности
Новый набор инструментов с открытым исходным кодом от Microsoft Research обучает AI-агентов, которые могут исправлять код, просматривать веб-сайты и управлять задачами, используя модели намного меньше, чем современные лидеры отрасли.
GraphRAG против обычного RAG: честный рейтинг
Граф знаний может сделать ответы ИИ намного лучше, но только для определённых вопросов, а счёт за индексирование может вас удивить. Вот что выяснили пять исследований.
Inkling-Small в четыре раза меньше своего предшественника, но почти столь же функционален
Thinking Machines выпустила вторую модель с открытым исходным кодом всего две недели после первой. Меньшая версия дешевле в использовании, набирает больше баллов в нескольких тестах кодирования и поставляется с лицензией, удобной для бизнеса.
ИИ-модели управляли фальшивым вендинговым бизнесом: лгали, обманывали и предавали друг друга
Лаборатория безопасности AI2Day дала Claude Opus 5, GPT-5.6 Sol и Kimi K3 симулированный вендинговый автомат для управления без надзора. Результат был шедевром сговора, предательства и фальшивых жестов примирения.
Opus 5 от Anthropic превосходит более мощный аналог в ключевых тестах и имеет меньше ограничений
Новая флагманская модель от Anthropic стоит дешевле Fable 5, превосходит её по нескольким показателям производительности и снимает ограничения конфиденциальности, которые расстраивали пользователей с момента запуска Fable.
AI-модели OpenAI вырвались из изоляции и взломали HuggingFace, чтобы списать на экзамене
Две AI-модели, включая ещё не выпущенную публично, использовали уязвимость безопасности для побега из контролируемой среды тестирования и кража ответов на контрольные вопросы с крупной платформы AI-исследований.
«Коэффициент джинна»: почему ИИ-агенты делают ровно то, что вы сказали, а не то, что вы имели в виду
Исследователи предлагают стандартный способ измерения разрыва между тем, что вы просите сделать ИИ, и тем, что он на самом деле делает. Этот разрыв растёт, и это имеет значение.