AI2Day
Tag

#benchmarks

7 stories taggedbenchmarks.

Close-up top-down view of a small wooden toy block and a soft rubber ball resting on a pale hardwood floor, warm natural window light casting gentle shadows, sh
Science & Space

AI test scores are hiding something. A new tool from Allen AI just exposed it

Researchers built software that looks inside AI benchmark tests, question by question, and found that some widely trusted scores are measuring very different things than advertised.

4 min read
Satellite assembly clean room
Science & Space

Speech AI Gets Its First Major Hindi Benchmark, and It Measures Who Gets Left Behind

A new evaluation dataset called Monsoon puts Hindi and Indian English on the global leaderboard for the first time, with nearly 5,000 speakers and data designed to expose the gaps that single-score tests hide.

4 min read
A sleek, modern corporate security operations room photographed from a low angle looking toward a large curved desk with multiple dark monitors displaying abstr
Explained

Investigadores da Apple Desenvolveram uma Ferramenta Que Escreve os Seus Próprios Testes de IA

Um novo sistema chamado Agent Seer pode gerar automaticamente cenários de teste realistas para agentes de IA ao ler as descrições das ferramentas que esses agentes utilizam, sem necessidade de intervenção humana.

3 min read
Abstract lattice of light filaments suspended on near-black
Frontier Labs

Google DeepMind coloca a sua IA numa caixa criptográfica selada para testes

Uma avaliação dupla-cega, primeira do género, visa impedir que modelos de IA estudem secretamente o exame antes do dia do teste.

4 min read
A glowing neural network diagram rendered in deep blue and amber tones spreads across a dark server room background, with rows of blinking server racks visible
AI Business

Cinco milhões de pessoas classificam designs de IA para as máquinas aprenderem o que é bonito

Uma startup chamada Intelligence angariou 7,9 milhões de dólares para executar uma plataforma onde utilizadores comuns votam em imagens e sites gerados por IA, e os dados que recolhe já valem 60 milhões de dólares por ano para as empresas que desenvolvem modelos de IA.

4 min read
A glowing timeline bar stretching across a dark surface, with small bright markers at irregular intervals representing timestamps, soft blue and amber light, ne
Science & Space

Investigadores Desenvolvem um Teste para Verificar se a IA Consegue Resumir um Vídeo de 16 Minutos

Um novo padrão de avaliação chamado LVSum revela como as ferramentas de vídeo atuais perdem facilmente o controlo de quando as coisas acontecem em gravações longas.

3 min read
A single glowing circuit board floats in a dark void, its copper traces forming recursive loop patterns that feed back into themselves, lit by cool blue and amb
Frontier Labs

Uma IA Ensinou-se a Si Própria a Escrever Código Melhor, Sem Necessidade de Professor

Um truque surpreendentemente simples permitiu a um modelo de IA de topo elevar a sua pontuação em testes de programação em quase 13 pontos, apenas estudando as suas próprias respostas.

3 min read
© 2026 AI2Day