Reproduzierbarkeitsprüfung: Was wir aus Tests an 2.200 KI-Arbeiten gelernt haben
Ein massives Experiment hat die Behauptungen von über 2.200 KI-Forschungsarbeiten überprüft. Hier ist, was die Ergebnisse über die Reproduzierbarkeit zeigen.
Wichtigste Punkte
- 1.221 Gemeinschaftsmitglieder reproduzierten 2.226 ICML-2026-Arbeiten vom 15. Juli bis 2. August 2026.
- 51 % der untersuchten Arbeiten hatten mindestens eine unabhängig bestätigte Behauptung.
- 23 % der untersuchten Arbeiten hatten mindestens eine widerlegte oder umstrittene Behauptung.
Worum ging es bei dem Experiment?
Zwischen dem 15. Juli und dem 2. August 2026 machten sich 1.221 Teilnehmer daran, die wissenschaftlichen Behauptungen von Arbeiten zu reproduzieren, die auf der International Conference on Machine Learning (ICML) 2026 präsentiert wurden. Sie zielten darauf ab, die in 2.226 Arbeiten gemachten Behauptungen zu überprüfen – etwa ein Drittel der Gesamtzahl der Konferenz. Das Projekt nutzte Coding-Agenten, Softwaretools, die mehrstufige Aufgaben ausführen können, um die Experimente hinter den Arbeiten schnell zu bewerten und zu reproduzieren. Diese Arbeit wurde erstmals von Hugging Face berichtet.
Wie schnitten die Arbeiten ab?
Von den überprüften Arbeiten hatten 51 % mindestens eine unabhängig bestätigte Behauptung. Von diesen hatten 266 Arbeiten alle Behauptungen bestätigt. Allerdings hatten 23 % der Arbeiten mindestens eine widerlegte oder umstrittene Behauptung, wobei 49 Arbeiten alle Behauptungen widerlegten. Interessanterweise erreichten verschiedene Teams bei 242 Arbeiten zu denselben Behauptungen gegensätzliche Schlussfolgerungen, was hervorhebt, dass Reproduzierbarkeit eine Herausforderung darstellen kann.
| Überprüfte Arbeiten | Gesamt | Vollständig bestätigt | Teilweise bestätigt | Widerlegt | Spielzeugskalabeweis | Unklar |
|---|---|---|---|---|---|---|
| Anzahl | 2.226 | 266 | 632 | 496 | 502 | 280 |
Warum ist dies für die KI-Forschung wichtig?
Diese großangelegte Reproduktionsarbeit bietet wertvolle Erkenntnisse zur Reproduzierbarkeit der KI-Forschung, einem Bereich von zunehmender Besorgnis, da das Volumen veröffentlichter Arbeiten wächst. Sie deutet darauf hin, dass zwar viele Studien einer Überprüfung standhalten, aber ein erheblicher Teil nicht. Dies kann sich auf die Wahrnehmung von KI-Forschung durch die wissenschaftliche Gemeinschaft und die Öffentlichkeit auswirken. Für diejenigen, die auf dem Gebiet arbeiten oder sich auf solche Studien für Anwendungen in der Praxis verlassen, unterstreicht dies die Bedeutung, wissenschaftliche Behauptungen unabhängig zu überprüfen.
Häufig gestellte Fragen
Was ist Reproduzierbarkeit in der Forschung?
Reproduzierbarkeit bedeutet, ein Experiment oder eine Studie wiederholen zu können und die gleichen Ergebnisse zu erhalten. Dies ist ein Schlüsselelement der wissenschaftlichen Integrität und gewährleistet, dass Ergebnisse zuverlässig sind und nicht nur Zufallsergebnisse.
Wie können Coding-Agenten bei der Reproduzierbarkeit helfen?
Coding-Agenten sind Softwaretools, die das Testen wissenschaftlicher Behauptungen durch schnelle und effiziente Experimente automatisieren können. Sie können Forschern helfen, Ergebnisse schneller zu überprüfen, verdeutlichen aber auch Herausforderungen bei inkonsistenten Ergebnissen.
Warum haben einige Arbeiten umstrittene Ergebnisse?
Umstrittene Ergebnisse können entstehen, wenn verschiedene Teams unterschiedliche Methoden oder Interpretationen bei der Versuchen, ein Experiment zu reproduzieren, verwenden. Dies verdeutlicht die Komplexität und Variabilität in der wissenschaftlichen Forschung.
