Pakistans KI-Richter-Assistent klärte 38 zusätzliche Fälle pro Monat pro Richter. So funktionierte es wirklich.
Ein realer Test gab 1.559 pakistanischen Richtern ein maßgeschneidertes KI-Rechtstool. Die Produktivität stieg um 6,3 %. Die Geheimzutat war nicht die Software.
Wichtige Punkte
- Ein Test mit 1.559 pakistanischen Richtern zeigte, dass ein maßgeschneidertes KI-Rechtstool die Anzahl der geklärten Fälle über neun Monate im Jahr 2024 um 6,3 % erhöhte.
- Pakistans Gerichte haben einen Rückstau von 2,26 Millionen Fällen und verfügen über weniger als zwei Richter pro 100.000 Menschen, im Vergleich zu 22 in der EU.
- Geschulte Richter klärten etwa 38,5 weitere Fälle pro Monat, was geschätzte 38,50 Dollar an Justizkosten für jeden ausgegebenen Dollar einspart.
- Richter, die sechs Schulungssitzungen erhielten, meldeten sich im Durchschnitt 56-mal beim Tool an und stellten 212 Anfragen, gegenüber 10 Anmeldungen für diejenigen, die nur generische Schulungen erhielten.
- Etwa ein Fünftel der Anfragen betraf Richter, die die KI aufforderten, Entscheidungen zu treffen oder Stellungnahmen mit minimalem menschlichen Input zu verfassen, was laufende Qualitätsbedenken aufwirft.
Pakistans Gerichte sind überlastet. Mehr als 2,26 Millionen Fälle stehen auf der Rückstandsliste, und das Land hat weniger als zwei Richter pro 100.000 Menschen. Die Europäische Union beschäftigt 22 Richter pro 100.000; Brasilien hat 8. Etwas musste sich ändern.
Der Ökonom Sultan Mehmood der New Economic School in Moskau baute daher zusammen mit Mitarbeitern, darunter Elliott Ash der ETH Zürich, ein Tool namens JudgeGPT und führte möglicherweise den ersten umfassenden unabhängigen Test von KI in einem funktionierenden Gerichtssystem durch. Ihre Ergebnisse, zuerst von IEEE Spectrum AI berichtet, entstehen zu einem ungünstigen Zeitpunkt: Richter in mehreren Ländern wurden bereits dabei ertappt, wie sie kommerziell verfügbare KI-Chatbots auf Weise nutzten, die Gerichte nie genehmigten.
Was ist JudgeGPT und wie funktioniert es?
JudgeGPT ist ein maßgeschneiderter KI-Assistent, der speziell für pakistanische Gerichte entwickelt wurde. Das Team nutzte OpenAIs GPT-4, das große Sprachmodell (ein KI-System, das auf riesigen Mengen an Text trainiert wurde, um Sprache zu generieren und zu analysieren), das auch viele kommerzielle Chatbots antreibt, und kombinierte es mit einer Datenbank von 128.292 pakistanischen Gerichtsurteilen und 943 Gesetzen.
Die Schlüsselfixierung für Genauigkeit war eine Technik namens Retrieval-Augmented Generation oder RAG. Stellen Sie sich vor, Sie geben der KI eine private Bibliothek zum Überprüfen, bevor sie antwortet. Anstatt bei Rechtsprechung zu raten, durchsucht das Tool die Datenbank, ruft relevante Dokumente ab und zeigt seine Quellen in Fußnoten. Ash drückt es einfach aus: „Es stellt sich heraus, dass die Art, Halluzinationen zu beheben, nicht nur intelligentere Modelle sind. Es geht darum, die Modelle mit einem Tool zu verbinden, das eine Suche durchführen und Quellen überprüfen kann." Halluzinationen bedeuten in der KI-Sprache, dass das Modell selbstbewusst Fakten erfindet, die nicht existieren.
Kommerziell verfügbare Chatbots, die früher getestet wurden, schlugen bei pakistanischen Rechtsanfragen fehl und erfanden regelmäßig Fallzitate. JudgeGPT wurde entwickelt, um das zu verhindern.
Machte es Richter wirklich besser oder nur schneller?
Schneller, messbar. Besser, wahrscheinlich, aber mit Einschränkungen.
Als 487 Richter das Schulungsprogramm abgeschlossen hatten, verzeichnete der Median-Bezirk einen Sprung von 6,3 % bei geklärten Fällen. Die Berufungsquoten sanken leicht, ein Zeichen dafür, dass Geschwindigkeit nicht offensichtlich auf Kosten der Genauigkeit kam. Jeder geschulte Richter klärte etwa 38,5 weitere Fälle pro Monat gegenüber dem Baseline auf.
| Metrik | Ergebnis |
|---|---|
| Richter im Test | 1.559 |
| Fälle im Rückstand | 2.260.000 |
| Produktivitätssteigerung | 6,3 % |
| Zusätzliche Fälle pro geschultem Richter pro Monat | 38,5 |
| Kostenersparnis pro ausgegebenem Dollar | 38,50 Dollar |
| Anmeldungen pro Richter nach der Schulung | 56 |
| Anfragen pro Richter nach der Schulung | 212 |
Um die Qualität zu bewerten, nutzte das Team OpenAIs GPT-5-mini (eine leichtere, schnellere Version des neuesten GPT-Modells), um Paare von Urteilen desselben Richters vor und nach der Schulung zu vergleichen. Die KI wählte das Urteil nach der Schulung 59 % der Zeit. Zwei erfahrene pakistanische Anwälte stimmten diesen Auswahlen 70,6 % der Zeit zu und untereinander 73 % der Zeit, was darauf hindeutet, dass der KI-Qualitätsscore ein angemessener, aber unvollkommener Näherungswert ist.
David Autor, Wirtschaftsprofessor am MIT, bezeichnete das Ergebnis als glaubwürdig. „Die Produktivitätssteigerung von 6,3 % ist nicht überwältigend", sagte er, „aber sie ist glaubwürdig und wird sich wahrscheinlich verbessern, wenn das Tool breiter genutzt wird."
Wo liegt das ehrliche Problem?
Schulung war wichtiger als die Software selbst. Richter, die sechs 90-Minuten-Sitzungen erhielten, die erklärten, wie die KI funktioniert, ihre Grenzen und die Risiken von Voreingenommenheit und Halluzinationen abdeckten, nutzten das Tool konsistent für die vollen neun Monate. Diejenigen, die nur generische Technologieschulung erhielten, meldeten sich ein paar Mal an. Diejenigen, die nichts erhielten, probieren es etwa einen Monat lang und hörten dann auf.
Die größere Sorge ist Delegation. Etwa ein Fünftel der Anfragen fragte JudgeGPT, welche Entscheidung richtig sein sollte, oder forderte es auf, ein Rechtsgutachten mit minimalem Richter-Input zu verfassen. Das überschreitet eine Grenze, die die meisten Rechtssysteme klar ziehen. Die Schulung reduzierte diesen Anteil, eliminierte ihn aber nicht.
John Zeleznikow, Professor für Recht und Technologie an der La Trobe University in Australien, fasst die Lücke gut zusammen: „Was nicht ganz klar ist, ob das, was Sie Qualität der Justiz nennen, besser ist."
Für den Richter, der anonym mit den Forschern sprach, ist die tägliche Realität jedoch einfacher. Er trägt über ein Jahrzehnt hinweg mehr als 1.000 aktive Fälle. „Für die Forschung ist es nur eine Anfrage entfernt", sagte er, „während ich vorher Stunden brauchte, um nach Präzedenzfällen und Gesetzen zu suchen."
Die wichtigste Erkenntnis: Wenn Ihr Arbeitsplatz ein KI-Tool pilotiert, drängen Sie hart auf strukturierte Schulung, nicht nur auf Anmeldedaten und Passwort. Diese Studie zeigt, dass Zugang ohne Bildung einen Monat Neugier und dann Abbruch produziert. Sechs Sitzungen veränderten alles.
