#AI evaluation
5 stories taggedAI evaluation.

Apple Researchers Built a Better Way to Judge AI Video Captions
A new method from Apple ML Research scores video captions on what they actually get right, not just whether they use the same words as a human writer.

AI test scores are hiding something. A new tool from Allen AI just exposed it
Researchers built software that looks inside AI benchmark tests, question by question, and found that some widely trusted scores are measuring very different things than advertised.

AI tools sound most confident exactly when they are most wrong, new testing shows
A developer built a testing framework to measure whether an AI explainer tool actually got the right answer, not just whether it sounded convincing. What he found should worry any business relying on AI to guide real decisions.

Cinco milhões de pessoas classificam designs de IA para as máquinas aprenderem o que é bonito
Uma startup chamada Intelligence angariou 7,9 milhões de dólares para executar uma plataforma onde utilizadores comuns votam em imagens e sites gerados por IA, e os dados que recolhe já valem 60 milhões de dólares por ano para as empresas que desenvolvem modelos de IA.

Por que os Sistemas de Visão por IA Não Veem o Que Está à Sua Frente
A Apple ML Research apresenta uma nova ferramenta que identifica os padrões ocultos por trás dos erros de IA na detecção de objetos, e as suas descobertas importam para quem depende de IA para identificar coisas no mundo real.