#AI evaluation
5 stories taggedAI evaluation.

Apple Researchers Built a Better Way to Judge AI Video Captions
A new method from Apple ML Research scores video captions on what they actually get right, not just whether they use the same words as a human writer.

AI test scores are hiding something. A new tool from Allen AI just exposed it
Researchers built software that looks inside AI benchmark tests, question by question, and found that some widely trusted scores are measuring very different things than advertised.

AI tools sound most confident exactly when they are most wrong, new testing shows
A developer built a testing framework to measure whether an AI explainer tool actually got the right answer, not just whether it sounded convincing. What he found should worry any business relying on AI to guide real decisions.

Cinq millions de personnes évaluent les créations IA pour que les machines apprennent ce qui est beau
Une startup appelée Intelligence a levé 7,9 millions de dollars pour exploiter une plateforme où les utilisateurs ordinaires votent sur des images et des sites web générés par l'IA, et les données qu'elle collecte valent déjà 60 millions de dollars par an aux entreprises qui construisent des modèles d'IA.

Pourquoi les systèmes de vision par IA manquent ce qui se trouve directement devant eux
Apple ML Research a mis au point un nouvel outil qui identifie les schémas cachés derrière les erreurs de l'IA en détection d'objets, et ses conclusions importent pour quiconque s'appuie sur l'IA pour identifier des éléments dans le monde réel.