#benchmarks
7 stories taggedbenchmarks.
AI test scores are hiding something. A new tool from Allen AI just exposed it
Researchers built software that looks inside AI benchmark tests, question by question, and found that some widely trusted scores are measuring very different things than advertised.
Speech AI Gets Its First Major Hindi Benchmark, and It Measures Who Gets Left Behind
A new evaluation dataset called Monsoon puts Hindi and Indian English on the global leaderboard for the first time, with nearly 5,000 speakers and data designed to expose the gaps that single-score tests hide.
Investigadores de Apple Crearon una Herramienta que Escribe sus Propias Pruebas de IA
Un nuevo sistema llamado Agent Seer puede generar automáticamente escenarios de prueba realistas para agentes de IA leyendo las descripciones de las herramientas que utilizan, sin necesidad de escritura humana.
Google DeepMind coloca su IA en una caja criptográfica sellada para pruebas
Una evaluación de doble ciego inédita tiene como objetivo evitar que los modelos de IA estudien secretamente el examen antes del día de la prueba.
Cinco millones de personas califican diseños de IA para que las máquinas aprendan qué se ve bien
Una startup llamada Intelligence recaudó $7.9 millones para ejecutar una plataforma donde usuarios ordinarios votan sobre imágenes y sitios web generados por IA, y los datos que recopila ya valen $60 millones anuales para las empresas que construyen modelos de IA.
Investigadores crean una prueba para ver si la IA puede resumir realmente un vídeo de 16 minutos
Un nuevo punto de referencia llamado LVSum revela cuánto pierden de vista los actuales sistemas de IA para vídeo cuándo suceden las cosas en grabaciones largas.
Una IA Se Enseñó a Sí Misma a Escribir Mejor Código, Sin Profesor
Un truco sorprendentemente simple permitió a un modelo de IA líder elevar su puntuación en codificación casi 13 puntos, solo estudiando sus propias respuestas.