L'assistant juge IA du Pakistan a traité 38 cas supplémentaires par mois par juge. Voici ce qui a réellement fonctionné.
Un essai réel a fourni à 1 559 juges pakistanais un outil juridique IA personnalisé. La productivité a augmenté de 6,3 %. L'ingrédient secret n'était pas le logiciel.
Points clés
- Un essai auprès de 1 559 juges pakistanais a montré qu'un outil juridique IA personnalisé a augmenté les cas résolus de 6,3 % sur neuf mois en 2024.
- Les tribunaux pakistanais ont un arriéré de 2,26 millions de cas et disposent de moins de deux juges pour 100 000 habitants, contre 22 dans l'UE.
- Les juges formés ont traité environ 38,5 cas supplémentaires par mois, économisant environ 38,50 $ en frais judiciaires pour chaque dollar dépensé pour l'outil.
- Les juges ayant reçu six sessions de formation se sont connectés à l'outil 56 fois en moyenne et ont envoyé 212 demandes, contre 10 connexions pour ceux ayant reçu seulement une formation générique.
- Environ un cinquième des demandes impliquaient des juges demandant à l'IA de prendre des décisions ou de rédiger des opinions avec une participation humaine minimale, soulevant des préoccupations persistantes en matière de qualité.
Les tribunaux pakistanais sont débordés. Plus de 2,26 millions de cas sont en attente, et le pays compte moins de deux juges pour 100 000 habitants. L'Union européenne gère 22 juges pour 100 000 ; le Brésil en a 8. Il fallait faire quelque chose.
L'économiste Sultan Mehmood de la New Economic School de Moscou, avec des collaborateurs incluant Elliott Ash de l'ETH Zurich, a donc créé un outil appelé JudgeGPT et mené ce qui pourrait être le premier test indépendant à grande échelle de l'IA au sein d'un système judiciaire en fonctionnement. Leurs résultats, d'abord rapportés par IEEE Spectrum AI, arrivent à un moment maladroit : des juges dans plusieurs pays ont déjà été surpris en train d'utiliser discrètement des chatbots IA commerciaux de façons que les tribunaux n'avaient jamais approuvées.
Qu'est-ce que JudgeGPT et comment fonctionne-t-il ?
JudgeGPT est un assistant IA personnalisé conçu spécifiquement pour les tribunaux pakistanais. L'équipe a superposé GPT-4 d'OpenAI, un grand modèle de langage (un système IA formé sur d'énormes quantités de texte pour générer et analyser le langage) qui alimente également de nombreux chatbots commerciaux, sur une base de données contenant 128 292 opinions judiciaires pakistanaises et 943 lois.
La correction clé pour la précision était une technique appelée génération augmentée par récupération, ou RAG. Pensez-y comme donner à l'IA une bibliothèque privée à consulter avant de répondre. Au lieu de deviner le droit jurisprudentiel, l'outil recherche dans la base de données, extrait les documents pertinents et affiche ses sources en notes de bas de page. Ash le dit clairement : « Il s'avère qu'en fait, la façon de corriger les hallucinations n'est pas juste des modèles plus intelligents. C'est d'attacher les modèles à un outil capable de faire une recherche et de vérifier les sources. » Les hallucinations, en termes d'IA, signifie que le modèle invente avec assurance des faits qui n'existent pas.
Les chatbots commerciaux testés plus tôt avaient échoué de manière spectaculaire sur les requêtes juridiques pakistanaises, fabricant régulièrement des citations de cas. JudgeGPT a été construit pour l'empêcher.
A-t-il réellement rendu les juges meilleurs ou seulement plus rapides ?
Plus rapides, mesurément. Meilleurs, probablement, mais avec des réserves.
Au moment où 487 juges avaient terminé le programme de formation, le district médian a enregistré une augmentation de 6,3 % des cas résolus. Les taux d'appel ont légèrement baissé, un signe que la rapidité ne venait pas visiblement au détriment de la précision. Chaque juge formé a résolu environ 38,5 cas supplémentaires par mois par rapport à la ligne de base.
| Métrique | Résultat |
|---|---|
| Juges en essai | 1 559 |
| Cas en arriéré | 2 260 000 |
| Augmentation de productivité | 6,3 % |
| Cas supplémentaires par juge formé par mois | 38,5 |
| Économie de coûts par 1 $ dépensé | 38,50 $ |
| Connexions post-formation par juge | 56 |
| Demandes post-formation par juge | 212 |
Pour évaluer la qualité, l'équipe a utilisé GPT-5-mini d'OpenAI (une version plus légère et plus rapide du dernier modèle GPT) pour comparer des paires de jugements du même juge, avant et après formation. L'IA a choisi le jugement post-formation 59 % du temps. Deux avocats pakistanais expérimentés ont approuvé ces choix 70,6 % du temps, et se sont accordés l'un l'autre 73 % du temps, suggérant que le score de qualité IA est un proxy raisonnable mais imparfait.
David Autor, professeur d'économie au MIT, a qualifié le résultat de crédible. « L'augmentation de productivité de 6,3 % n'est pas écrasante, » a-t-il dit, « mais elle est crédible et susceptible de s'améliorer à mesure que l'outil sera utilisé plus largement. »
Quelle est la préoccupation honnête ici ?
La formation comptait plus que le logiciel lui-même. Les juges ayant reçu six sessions de 90 minutes couvrant le fonctionnement de l'IA, ses limites et le risque de biais et d'hallucinations ont utilisé l'outil régulièrement pendant les neuf mois complets. Ceux qui n'ont reçu qu'une formation technologique générique se sont connectés quelques fois. Ceux qui n'ont reçu aucune formation l'ont essayé pendant environ un mois et ont arrêté.
La préoccupation plus importante est la délégation. Environ un cinquième des demandes ont demandé à JudgeGPT quelle devrait être la bonne décision, ou lui ont dit de rédiger une opinion juridique avec une participation minimale du juge. Cela franchit une ligne que la plupart des systèmes juridiques tracent fermement. La formation a réduit cette proportion, mais ne l'a pas éliminée.
John Zeleznikow, professeur de droit et de technologie à l'Université La Trobe en Australie, encadre bien l'écart : « Ce qui n'est pas très clair, c'est si ce que vous appelez la qualité de la justice est meilleure. »
Pour le juge qui a parlé anonymement aux chercheurs, cependant, la réalité quotidienne est plus simple. Il a porté plus de 1 000 cas actifs pendant plus d'une décennie. « Pour la recherche, c'est juste une demande, » a-t-il dit, « alors qu'avant, je devais chercher les précédents et les lois pendant des heures. »
Le message à retenir : Si votre lieu de travail teste un outil IA, insistez fermement pour une formation structurée, pas juste une connexion et un mot de passe. Cette étude montre que l'accès sans éducation produit un mois de curiosité puis l'abandon. Six sessions ont changé tout.
