El Asistente de Juez con IA de Pakistán Resolvió 38 Casos Adicionales al Mes por Juez. Esto Es Lo Que Realmente Funcionó.
Un ensayo real otorgó a 1.559 jueces pakistaníes una herramienta legal de IA personalizada. La productividad aumentó un 6,3%. El ingrediente secreto no fue el software.
Puntos clave
- Un ensayo entre 1.559 jueces pakistaníes encontró que una herramienta legal de IA personalizada aumentó los casos resueltos un 6,3% durante nueve meses en 2024.
- Los tribunales de Pakistán tienen un atraso de 2,26 millones de casos y tienen menos de dos jueces por cada 100.000 personas, en comparación con 22 en la UE.
- Los jueces capacitados completaron aproximadamente 38,5 casos más por mes, ahorrando un estimado de $38,50 en costos judiciales por cada $1 gastado en ejecutar la herramienta.
- Los jueces que recibieron seis sesiones de capacitación iniciaron sesión en la herramienta 56 veces en promedio y enviaron 212 consultas, versus 10 inicios de sesión para quienes recibieron solo capacitación genérica.
- Aproximadamente uno de cada cinco consultas implicaba que los jueces pidieran a la IA tomar decisiones o redactar opiniones con mínima intervención humana, lo que genera preocupaciones continuas sobre la calidad.
Los tribunales de Pakistán están abrumados. Más de 2,26 millones de casos se encuentran en atraso, y el país tiene menos de dos jueces por cada 100.000 personas. La UE gestiona 22 por cada 100.000; Brasil opera con 8. Algo tenía que ceder.
Así que el economista Sultan Mehmood de la Escuela de Economía Nueva en Moscú, junto con colaboradores que incluyen a Elliott Ash de ETH Zúrich, construyó una herramienta llamada JudgeGPT y realizó lo que podría ser la primera prueba independiente a gran escala de IA dentro de un sistema judicial funcionando. Sus hallazgos, reportados primero por IEEE Spectrum AI, llegan en un momento incómodo: jueces en varios países ya han sido sorprendidos usando silenciosamente chatbots comerciales de IA de formas que los tribunales nunca aprobaron.
¿Qué es JudgeGPT y cómo funciona?
JudgeGPT es un asistente de IA personalizado construido específicamente para los tribunales pakistaníes. Se ejecuta en GPT-4 de OpenAI, el modelo de lenguaje grande (un sistema de IA entrenado en vastas cantidades de texto para generar y analizar lenguaje) que también potencia muchos chatbots comerciales, extrayendo datos de una base de datos de 128.292 opiniones judiciales pakistaníes y 943 estatutos.
La precisión dependía de una técnica llamada generación aumentada por recuperación, o RAG: la IA busca en esa base de datos privada antes de responder, luego muestra sus fuentes en notas a pie de página en lugar de adivinar sobre jurisprudencia. Ash es directo sobre por qué esto importa: "Resulta que la forma de eliminar las alucinaciones no es solo tener modelos más inteligentes. Es conectar los modelos a una herramienta que pueda hacer una búsqueda y verificar las fuentes." Alucinaciones, en términos de IA, significa que el modelo inventa con confianza hechos que no existen. Los chatbots comerciales probados anteriormente habían fallado gravemente en consultas legales pakistaníes, fabricando regularmente citas de casos.
Nuestro artículo del 17 de julio sobre cómo los bufetes de abogados ya están moldeando modelos especializados similares mostró este patrón emergiendo en otros lugares; JudgeGPT está entre los primeros en alcanzar un ensayo gubernamental formal a gran escala.
¿Realmente hizo que los jueces fueran mejores o solo más rápidos?
Más rápidos, mediblemente. Mejores, probablemente, aunque con salvedades.
Para cuando 487 jueces completaron el programa de capacitación, el distrito mediano registró un salto del 6,3% en casos resueltos. Las tasas de apelación cayeron ligeramente, señal de que la velocidad no estaba obviamente viniendo a costa de la precisión. Cada juez capacitado resolvió alrededor de 38,5 casos más por mes que el promedio.
| Métrica | Resultado |
|---|---|
| Jueces en ensayo | 1.559 |
| Casos en atraso | 2,26 millones |
| Aumento de productividad | 6,3% |
| Casos adicionales por juez capacitado por mes | 38,5 |
| Ahorro de costos por cada $1 gastado | $38,50 |
| Inicios de sesión posteriores a la capacitación por juez | 56 |
| Consultas posteriores a la capacitación por juez | 212 |
Para evaluar la calidad, el equipo usó GPT-5-mini de OpenAI (una versión más ligera y rápida del modelo GPT más reciente) para comparar pares de sentencias del mismo juez antes y después de la capacitación. La IA eligió la sentencia posterior a la capacitación el 59% de las veces. Dos abogados pakistaníes experimentados estuvieron de acuerdo con esas selecciones el 70,6% de las veces y entre sí el 73% de las veces, sugiriendo que la puntuación de calidad de IA es un proxy razonable pero imperfecto.
David Autor, profesor de economía en el MIT, llamó al resultado creíble. "El impulso de productividad del 6,3% no es abrumador," dijo, "pero es creíble y probablemente mejore a medida que la herramienta se use más ampliamente."
¿Cuál es la preocupación honesta aquí?
La capacitación importó más que el software en sí. Los jueces que recibieron seis sesiones de 90 minutos cubriendo cómo funciona la IA, sus limitaciones y el riesgo de sesgo usaron la herramienta consistentemente durante los nueve meses completos. Quienes recibieron solo capacitación tecnológica genérica iniciaron sesión un puñado de veces. Los jueces sin capacitación la probaron durante aproximadamente un mes, luego dejaron de usarla por completo.
La preocupación más grande es la delegación. Aproximadamente una de cada cinco consultas preguntaba a JudgeGPT cuál debería ser la decisión correcta, o le instruía escribir una opinión legal con mínima intervención del juez. Eso cruza una línea que la mayoría de sistemas legales trazan firmemente. La capacitación redujo esa proporción, pero no la eliminó.
John Zeleznikow, profesor de derecho y tecnología en la Universidad La Trobe en Australia, plantea la brecha claramente: "Lo que no está tan claro es si lo que usted llama la calidad de la justicia es mejor."
Para el juez que habló con los investigadores de forma anónima, la realidad diaria es más simple. Ha llevado más de 1.000 casos activos durante más de una década. "Para la investigación, está a solo una consulta de distancia," dijeron, "mientras que antes tenía que buscar los precedentes y leyes durante horas."
Si su lugar de trabajo está piloteando una herramienta de IA, presione fuerte por capacitación estructurada, no solo un nombre de usuario y contraseña. El acceso sin educación, este estudio lo muestra, produce un mes de curiosidad y luego abandono. Seis sesiones lo cambiaron todo: ese es el número que vale la pena llevar a su próxima reunión de presupuesto.
