#AI evaluation
5 stories taggedAI evaluation.
Apple Researchers Built a Better Way to Judge AI Video Captions
A new method from Apple ML Research scores video captions on what they actually get right, not just whether they use the same words as a human writer.
AI test scores are hiding something. A new tool from Allen AI just exposed it
Researchers built software that looks inside AI benchmark tests, question by question, and found that some widely trusted scores are measuring very different things than advertised.
AI tools sound most confident exactly when they are most wrong, new testing shows
A developer built a testing framework to measure whether an AI explainer tool actually got the right answer, not just whether it sounded convincing. What he found should worry any business relying on AI to guide real decisions.
Cinco millones de personas califican diseños de IA para que las máquinas aprendan qué se ve bien
Una startup llamada Intelligence recaudó $7.9 millones para ejecutar una plataforma donde usuarios ordinarios votan sobre imágenes y sitios web generados por IA, y los datos que recopila ya valen $60 millones anuales para las empresas que construyen modelos de IA.
Por qué los sistemas de visión por IA pierden lo que tienen frente a ellos
Apple ML Research tiene una nueva herramienta que identifica los patrones ocultos detrás de los errores de IA en la detección de objetos, y sus hallazgos son importantes para cualquiera que dependa de la IA para detectar cosas en el mundo real.