AI-Tutor sind zu hilfsbereit. Ein neuer Test zeigt, dass sie Schwierigkeiten haben, die richtige Grenze zu finden
Forscher des Allen Institute for AI haben anhand von echten Klassenzimmer-Transkripten eine Bewertung entwickelt, um herauszufinden, ob AI-Tutor erkennen können, wann sie einem Schüler helfen sollten und wann sie ihn selbst mit einem Problem ringen lassen sollten.
Wichtigste Punkte
- Das Allen Institute for AI hat TutorMoments veröffentlicht, eine Benchmark mit 462 echten Eins-zu-eins-Mathe-Tutoring-Transkripten, um zu testen, wie gut AI-Tutor beurteilen können, wann sie helfen und wann sie sich zurückhalten sollten.
- Der Datensatz umfasst mehr als 1.500 Entscheidungspunkte, die von 27 erfahrenen US-amerikanischen Mathematiklehrern der Klassen 2 bis 7 gekennzeichnet wurden.
- Sieben große Sprachmodelle, die Technologie hinter Chatbots wie ChatGPT und Claude, wurden getestet; alle neigten dazu, Schülern zu viel zu helfen, wenn ihnen keine spezifischen Anweisungen gegeben wurden.
- Eine detailliertere Anleitung verbesserte die Ergebnisse, aber kein Modell erreichte konsistent das Urteilsvermögen menschlicher Tutor in denselben Momenten.
- Die Benchmark, der Datensatz und der Code sind kostenlos verfügbar, teilweise über das Hugging Face-Daten-Repository veröffentlicht.
Ein guter Mathematik-Tutor stellt, wenn ein Schüler festsitzt, normalerweise eine Frage, anstatt eine zu beantworten. „Was weißt du bereits über dieses Problem?" Diese Pause, dieser kleine Widerstand gegen den Schüler, ist beabsichtigt. So bleibt das Lernen haften.
AI-Chatbots sind das Gegenteil. Ihr ganzer Zweck ist Hilfsbereitschaft, was in einem Tutoring-Kontext oft bedeutet, das Konzept zu erklären, die Schritte zu erläutern und den Schüler direkt zur Antwort zu führen. Das unterlädt das anstrengende Denken, das Forscher als zentral für das tatsächliche Verstehen sehen.
Ein Team des Allen Institute for AI wollte wissen, wie schlecht das Problem wirklich ist und ob es behoben werden kann.
Wie funktioniert TutorMoments genau?
Die Forscher bauten eine Benchmark namens TutorMoments um echte Tutoring-Sitzungen auf, nicht um erfundene Szenarien. Sie sammelten 462 Transkripte eines US-amerikanischen Tutoring-Programms, das hauptsächlich einkommensschwache Schulen betreut, entfernten alle identifizierenden Details und gaben die Transkripte an 27 erfahrene Mathematiklehrer.
Die Lehrer lasen jedes Transkript und markierten die Momente, in denen ein Tutor vor einer echten Wahl stand: das Problem vereinfachen oder den Schüler zum tieferen Denken anregen. Diese gekennzeichneten Momente wurden zum Test.
An jedem gekennzeichneten Punkt übernimmt ein großes Sprachmodell die Sitzung für fünf Austauschrunden, wobei ein zweites Sprachmodell den Schüler spielt. Ein Bewertungssystem überprüft dann, ob der AI-Tutor für diesen Moment die richtige Entscheidung getroffen hat, basierend auf dem, was die Lehrer sagten, dass der Schüler tatsächlich brauchte.
Die drei Dinge, die gemessen werden, sind, ob das Modell angemessene Unterstützung bot, wenn nötig, tieferes Denken forderte, wenn der Schüler bereit war, und vermied, mehr Hilfe zu geben als der Moment erforderte.
Was taten die AI-Tutor tatsächlich?
Jedes getestete Modell neigte zu Überunterstützung. Mit der einfachen Anweisung „unterrichte gut" tendierten alle sieben Modelle dazu, zu erklären und zu führen, anstatt Schüler zum Denken anzuregen.
Als Forscher die Anweisung umschrieben, um den Kompromiss explizit zu verdeutlichen, verbesserten sich die Ergebnisse überall. Aber kein Modell traf zuverlässig die richtige Entscheidung, wie ein erfahrener Lehrer es tut.
Die Ergebnisse unten zeigen Scores zwischen 0 und 1, wobei 1 bedeutet, dass das Modell in jedem relevanten Moment die richtige Entscheidung traf.
| Anweisungstyp | Angemessene Unterstützung | Angemessene Anforderung | Vermeidet Überunterstützung |
|---|---|---|---|
| Menschliche Tutor (Referenz) | 0.458 | 0.182 | 0.496 |
| Einfache Anweisung (AI-Durchschnitt) | Unter Mensch | Nahe Null | Niedrig |
| Bewertungsorientierte Anweisung (AI-Best) | Über Mensch | Höher | Höher |
Ein wichtiger Vorbehalt: Die Scores der menschlichen Tutor wirken niedrig, weil der Datensatz bewusst um verpasste Gelegenheiten herum erstellt wurde, Momente, in denen Lehrer fühlten, dass etwas Besseres hätte getan werden können. Also sind die Menschenzahlen kein Bild des idealen Unterrichts.
Was bedeutet das für Schüler, die AI-Tutoring-Tools nutzen?
Wenn dein Kind oder dein Schüler eine AI-Tutoring-App nutzt, macht die App wahrscheinlich zu viel des Denkens für ihn. Das fühlt sich im Moment hilfreich an. Im Laufe der Zeit ist es möglicherweise nicht so.
Die Forscher sagen nicht, dass AI-Tutor nutzlos sind. Sie sagen, dass das Feld bessere Wege braucht, um diese spezifische Fähigkeit zu messen und zu trainieren. Ein Modell, das nie die Antwort preisgeben würde, ist nicht automatisch ein guter Tutor; es geht darum, ob es den Schüler in jedem einzelnen Moment richtig liest.
Der vollständige Datensatz, der Benchmark-Code und ein technischer Bericht sind öffentlich verfügbar, ebenso wie der Datensatz auf Hugging Face, damit andere Forscher und Unternehmen, die AI-Tutoring-Tools entwickeln, ihre eigenen Modelle gegen dieselben echten Entscheidungspunkte testen können.
Worauf man achten sollte, wenn man ein AI-Tutoring-Tool nutzt: Bemerke, ob es dir Fragen stellt oder einfach nur antwortet. Ein Tool, das immer erklärt, ist kein Tutoring. Es erledigt die Hausaufgaben.
