L'Assistente AI Giudice del Pakistan ha Risolto 38 Casi Aggiuntivi al Mese per Giudice. Ecco Cosa ha Effettivamente Funzionato.

Punti chiave

• Una sperimentazione tra 1.559 giudici pakistani ha rilevato che uno strumento legale AI personalizzato ha aumentato i casi risolti del 6,3% nel corso di nove mesi nel 2024.
• I tribunali pakistani hanno un arretrato di 2,26 milioni di casi e hanno meno di due giudici ogni 100.000 persone, rispetto ai 22 dell'UE.
• I giudici addestrati hanno completato circa 38,5 casi in più al mese, risparmiando un costo giudiziario stimato di 38,50 dollari per ogni 1 dollaro speso per gestire lo strumento.
• I giudici che hanno ricevuto sei sessioni di formazione hanno effettuato accessi allo strumento 56 volte in media e hanno inviato 212 prompt, rispetto a 10 accessi per coloro che hanno ricevuto solo una formazione generica.
• Circa uno su cinque prompt vedeva giudici chiedere all'AI di prendere decisioni o scrivere opinioni con minimo input umano, suscitando preoccupazioni sulla qualità in corso.

I tribunali pakistani stanno affondando. Più di 2,26 milioni di casi giacciono in arretrato e il paese ha meno di due giudici ogni 100.000 persone. L'Unione Europea gestisce 22 giudici ogni 100.000; il Brasile ne ha 8. Qualcosa doveva cedere.

Così l'economista Sultan Mehmood della New Economic School di Mosca, insieme a collaboratori tra cui Elliott Ash del Politecnico di Zurigo, ha costruito uno strumento chiamato JudgeGPT e ha condotto quello che potrebbe essere il primo test indipendente su larga scala dell'AI all'interno di un sistema giudiziario operativo. I loro risultati, prima segnalati da IEEE Spectrum AI, arrivano in un momento sgradevole: giudici in diversi paesi sono già stati sorpresi a usare silenziosamente chatbot AI commerciali in modi che i tribunali non hanno mai approvato.

Cos'è JudgeGPT e come funziona?

JudgeGPT è un assistente AI personalizzato costruito specificamente per i tribunali pakistani. Il team ha stratificato GPT-4 di OpenAI, il modello di linguaggio di grandi dimensioni (un sistema AI addestrato su vasti quantitativi di testo per generare e analizzare il linguaggio) che alimenta anche molti chatbot commerciali, sopra un database di 128.292 opinioni giudiziarie pakistane e 943 statuti.

La correzione chiave per l'accuratezza era una tecnica chiamata retrieval-augmented generation, o RAG. Pensala come dare all'AI una biblioteca privata da consultare prima di rispondere. Invece di indovinare la giurisprudenza, lo strumento ricerca il database, estrae i documenti rilevanti e mostra le sue fonti in note a piè di pagina. Ash lo spiega chiaramente: "Si scopre che in realtà il modo per correggere le allucinazioni non è solo disporre di modelli più intelligenti. È collegare i modelli a uno strumento in grado di eseguire ricerche e verificare le fonti." Allucinazioni, in termini di AI, significa che il modello inventa con sicurezza fatti che non esistono.

I chatbot commerciali testati in precedenza avevano fallito male su query legali pakistane, fabbricando regolarmente citazioni di casi. JudgeGPT è stato costruito per evitare ciò.

Ha effettivamente migliorato i giudici o solo accelerato il loro lavoro?

Accelerato, misurabilmente. Migliorato, probabilmente, sebbene con avvertenze.

Nel momento in cui 487 giudici avevano completato il programma di formazione, il distretto mediano ha registrato un salto del 6,3% nei casi risolti. I tassi di appello sono diminuiti leggermente, un segno che la velocità non veniva ovviamente a scapito dell'accuratezza. Ogni giudice addestrato ha risolto circa 38,5 casi in più al mese rispetto alla linea di base.

Metrica	Risultato
Giudici nella sperimentazione	1.559
Casi in arretrato	2.260.000
Aumento di produttività	6,3%
Casi aggiuntivi per giudice addestrato al mese	38,5
Risparmio di costi per 1 dollaro speso	38,50 dollari
Accessi post-formazione per giudice	56
Prompt post-formazione per giudice	212

Per valutare la qualità, il team ha utilizzato GPT-5-mini di OpenAI (una versione più leggera e veloce dell'ultimo modello GPT) per confrontare coppie di sentenze dello stesso giudice, prima e dopo la formazione. L'AI ha scelto la sentenza post-formazione il 59% delle volte. Due avvocati pakistani esperti hanno concordato con queste scelte il 70,6% delle volte e tra loro il 73% delle volte, suggerendo che il punteggio di qualità dell'AI è un proxy ragionevole ma imperfetto.

David Autor, professore di economia al MIT, ha definito il risultato credibile. "L'incremento di produttività del 6,3% non è travolgente," ha detto, "ma è credibile e probabilmente migliorerà man mano che lo strumento sarà più ampiamente utilizzato."

Qual è la preoccupazione onesta qui?

La formazione ha contato più del software stesso. I giudici che hanno ricevuto sei sessioni di 90 minuti che coprivano come funziona l'AI, i suoi limiti e il rischio di distorsione e allucinazioni hanno utilizzato lo strumento in modo coerente per i nove mesi completi. Coloro che hanno ricevuto solo una formazione tecnologica generica hanno effettuato l'accesso un pugno di volte. Coloro che non hanno ricevuto nulla lo hanno provato per circa un mese e hanno smesso.

La preoccupazione più grande è la delega. Circa uno su cinque prompt chiedeva a JudgeGPT quale fosse la decisione giusta, o gli diceva di scrivere un'opinione legale con input minimo dal giudice. Questo supera una linea che la maggior parte dei sistemi giuridici traccia fermamente. La formazione ha ridotto quella proporzione, ma non l'ha eliminata.

John Zeleznikow, professore di diritto e tecnologia presso la La Trobe University in Australia, inquadra bene il divario: "Quello che non è molto chiaro è se quella che chiami la qualità della giustizia sia migliore."

Per il giudice che ha parlato anonimamente con i ricercatori, però, la realtà quotidiana è più semplice. Ha portato più di 1.000 casi attivi per oltre un decennio. "Per la ricerca, è solo un prompt di distanza," ha detto, "mentre prima dovevo cercare i precedenti e le leggi per ore."

La conclusione: Se il tuo luogo di lavoro sta sperimentando uno strumento AI, premi forte per una formazione strutturata, non solo un accesso e una password. Questo studio mostra che l'accesso senza educazione produce un mese di curiosità e poi abbandono. Sei sessioni hanno cambiato tutto.