#AI evaluation
5 stories taggedAI evaluation.
Apple Researchers Built a Better Way to Judge AI Video Captions
A new method from Apple ML Research scores video captions on what they actually get right, not just whether they use the same words as a human writer.
AI test scores are hiding something. A new tool from Allen AI just exposed it
Researchers built software that looks inside AI benchmark tests, question by question, and found that some widely trusted scores are measuring very different things than advertised.
AI tools sound most confident exactly when they are most wrong, new testing shows
A developer built a testing framework to measure whether an AI explainer tool actually got the right answer, not just whether it sounded convincing. What he found should worry any business relying on AI to guide real decisions.
Cinque milioni di persone valutano i design dell'IA affinché le macchine imparino cosa piace
Una startup chiamata Intelligence ha raccolto 7,9 milioni di dollari per gestire una piattaforma dove gli utenti comuni votano le immagini e i siti web generati dall'IA, e i dati che raccoglie valgono già 60 milioni di dollari all'anno per le aziende che costruiscono modelli di IA.
Perché i Sistemi di Visione AI Non Vedono Ciò che è Davanti a Loro
Apple ML Research ha sviluppato un nuovo strumento che individua i modelli nascosti dietro gli errori dell'IA nel rilevamento degli oggetti, e i suoi risultati sono importanti per chiunque si affidi all'IA per individuare elementi nel mondo reale.