#benchmarks
14 stories taggedbenchmarks.
El nuevo modelo de predicción de Mistral supera tres grandes puntos de referencia con una fracción del tamaño
Timestral, una familia de modelos de series temporales de Mistral AI, supera a rivales más grandes en todos los principales puntos de referencia de predicción disponibles públicamente y se ejecuta en un servidor de oficina ordinario sin chips especializados.
El Agente Dijo que Estaba Hecho. La Base de Datos Sabía Mejor.
Un nuevo benchmark de Microsoft y Hugging Face ejecuta agentes de IA en tareas empresariales reales 20 veces cada una, luego verifica los registros que dejan. La mayoría de los modelos fallan mucho más a menudo de lo que sugiere una sola prueba.
Los Mejores Agentes de IA Aún Fracasan en la Mayoría del Trabajo de Oficina Real. ServiceNow Construyó una Herramienta para Arreglarlo.
AutoSynthData de ServiceNow identifica dónde un agente de IA se quiebra en el trabajo, luego genera automáticamente tareas de práctica para cerrar la brecha. El contexto: el modelo más fuerte probado completó apenas un tercio de las tareas empresariales realistas.
El Holo4 de H Company Maneja Todas las Interfaces que Ofrece una Computadora, en un Modelo
Holo4 puede hacer clic en menús, escribir código y llamar APIs dentro de una sola tarea. Para empresas que evalúan costos de agentes, esa amplitud en una escala menor es la verdadera historia.
El Laboratorio de IA del Gobierno Británico Publica Resultados de Benchmark que Cualquiera Puede Verificar
El Instituto de Seguridad de IA del Reino Unido está publicando resultados de pruebas verificados para seis modelos de IA de frontera bajo un estándar abierto compartido, para que investigadores de todo el mundo puedan ver exactamente cómo se produjeron las puntuaciones y repetir el trabajo por sí mismos.
Tu Agente de IA Puntuó 77%. Solo Domina la Misma Tarea el 53% de las Veces
Un nuevo estudio cuantifica la brecha entre "generalmente funciona" y "siempre funciona", y luego construye una herramienta para cerrarla.
Investigadores de Apple Crearon una Mejor Forma de Evaluar Subtítulos de Video de IA
Un nuevo método de Apple ML Research califica los subtítulos de video según lo que realmente capturan correctamente, no solo si utilizan las mismas palabras que un escritor humano.
AI test scores are hiding something. A new tool from Allen AI just exposed it
Researchers built software that looks inside AI benchmark tests, question by question, and found that some widely trusted scores are measuring very different things than advertised.
Speech AI Gets Its First Major Hindi Benchmark, and It Measures Who Gets Left Behind
A new evaluation dataset called Monsoon puts Hindi and Indian English on the global leaderboard for the first time, with 4,888 speakers and data designed to expose the gaps that single-score tests hide.
Investigadores de Apple Crearon una Herramienta que Escribe sus Propias Pruebas de IA
Un nuevo sistema llamado Agent Seer puede generar automáticamente escenarios de prueba realistas para agentes de IA leyendo las descripciones de las herramientas que utilizan, sin necesidad de escritura manual.
Google DeepMind coloca su IA en una caja criptográfica sellada para pruebas
Una evaluación de doble ciego sin precedentes busca evitar que los modelos de IA estudien secretamente el examen antes del día de la prueba.
Cinco millones de personas califican diseños de IA para que las máquinas aprendan qué se ve bien
Una startup llamada Intelligence recaudó $7.9 millones para ejecutar una plataforma donde usuarios ordinarios votan sobre imágenes y sitios web generados por IA, y los datos que recopila ya valen $60 millones anuales para las empresas que construyen modelos de IA.
Investigadores crean una prueba para ver si la IA puede resumir realmente un video de 16 minutos
Un nuevo estándar de evaluación llamado LVSum revela cuán mal pierden la noción del tiempo los actuales sistemas de IA para video.
Una IA se enseñó a sí misma a escribir código mejor, sin maestro
Un truco sorprendentemente simple permitió a un modelo de IA líder elevar su puntuación en codificación en casi 13 puntos, solo estudiando sus propias respuestas.