#benchmarks
7 stories taggedbenchmarks.
AI test scores are hiding something. A new tool from Allen AI just exposed it
Researchers built software that looks inside AI benchmark tests, question by question, and found that some widely trusted scores are measuring very different things than advertised.
Speech AI Gets Its First Major Hindi Benchmark, and It Measures Who Gets Left Behind
A new evaluation dataset called Monsoon puts Hindi and Indian English on the global leaderboard for the first time, with nearly 5,000 speakers and data designed to expose the gaps that single-score tests hide.
I Ricercatori Apple Hanno Creato uno Strumento che Scrive i Propri Test di IA
Un nuovo sistema chiamato Agent Seer può generare automaticamente scenari di test realistici per gli agenti di IA leggendo le descrizioni degli strumenti che questi agenti utilizzano, senza alcun intervento umano.
Google DeepMind mette il suo AI in una scatola sigillata crittograficamente per i test
Una valutazione in doppio cieco senza precedenti mira a impedire ai modelli di IA di studiare segretamente l'esame prima della prova.
Cinque milioni di persone valutano i design dell'IA affinché le macchine imparino cosa piace
Una startup chiamata Intelligence ha raccolto 7,9 milioni di dollari per gestire una piattaforma dove gli utenti comuni votano le immagini e i siti web generati dall'IA, e i dati che raccoglie valgono già 60 milioni di dollari all'anno per le aziende che costruiscono modelli di IA.
Ricercatori Creano un Test per Verificare se l'IA Riesce a Riassumere un Video di 16 Minuti
Un nuovo benchmark chiamato LVSum rivela come gli attuali strumenti di IA per video perdono facilmente traccia di quando accadono gli eventi nei lunghi filmati.
Un'IA ha imparato a scrivere codice migliore da sola, senza insegnanti
Un trucco sorprendentemente semplice ha permesso a un modello di IA leader di aumentare il suo punteggio nella codifica di quasi 13 punti, solo studiando le sue stesse risposte.