El Asistente de Juez de IA de Pakistán Resolvió 38 Casos Adicionales al Mes por Juez. Esto es lo que Realmente Funcionó.
Un ensayo real proporcionó a 1.559 jueces pakistaníes una herramienta legal personalizada con IA. La productividad aumentó un 6,3%. El ingrediente secreto no fue el software.
Puntos clave
- Un ensayo con 1.559 jueces pakistaníes encontró que una herramienta legal personalizada con IA aumentó los casos resueltos en un 6,3% durante nueve meses en 2024.
- Los tribunales de Pakistán tienen un atraso de 2,26 millones de casos y cuentan con menos de dos jueces por cada 100.000 personas, en comparación con 22 en la UE.
- Los jueces capacitados completaron aproximadamente 38,5 casos más al mes, ahorrando un estimado de $38,50 en costos judiciales por cada $1 gastado en ejecutar la herramienta.
- Los jueces que recibieron seis sesiones de capacitación iniciaron sesión en la herramienta 56 veces en promedio y enviaron 212 solicitudes, versus 10 inicios de sesión para quienes recibieron solo capacitación genérica.
- Aproximadamente una de cada cinco solicitudes involucraba a jueces pidiendo a la IA que tomara decisiones o escribiera opiniones con mínima participación humana, lo que genera preocupaciones continuas sobre la calidad.
Los tribunales de Pakistán están abrumados. Más de 2,26 millones de casos se encuentran en atraso, y el país tiene menos de dos jueces por cada 100.000 personas. La Unión Europea gestiona 22 jueces por 100.000; Brasil funciona con 8. Algo tenía que ceder.
Así que el economista Sultan Mehmood de la New Economic School en Moscú, junto con colaboradores incluyendo Elliott Ash de ETH Zurich, construyeron una herramienta llamada JudgeGPT y realizaron lo que puede ser la primera prueba independiente a gran escala de IA dentro de un sistema judicial en funcionamiento. Sus hallazgos, reportados por primera vez por IEEE Spectrum AI, llegan en un momento incómodo: jueces en varios países ya han sido sorprendidos usando silenciosamente chatbots comerciales con IA de formas que los tribunales nunca aprobaron.
¿Qué es JudgeGPT y cómo funciona?
JudgeGPT es un asistente de IA personalizado construido específicamente para los tribunales pakistaníes. El equipo superpuso GPT-4 de OpenAI, el modelo de lenguaje grande (un sistema de IA entrenado en grandes cantidades de texto para generar y analizar lenguaje) que también potencia muchos chatbots comerciales, sobre una base de datos de 128.292 opiniones judiciales pakistaníes y 943 estatutos.
La solución clave para la precisión fue una técnica llamada generación aumentada por recuperación, o RAG. Piénsalo como darle a la IA una biblioteca privada para verificar antes de responder. En lugar de adivinar la jurisprudencia, la herramienta busca en la base de datos, extrae los documentos relevantes y muestra sus fuentes en notas a pie de página. Ash lo plantea claramente: "Resulta que la forma de corregir alucinaciones no es solo con modelos más inteligentes. Es conectar los modelos a una herramienta que pueda realizar búsquedas y verificar las fuentes". Alucinaciones, en términos de IA, significa que el modelo inventa confiadamente hechos que no existen.
Los chatbots comerciales probados anteriormente habían fallado en consultas legales pakistaníes, fabricando regularmente citas de casos. JudgeGPT fue construido para evitar eso.
¿Realmente hizo mejores jueces o solo más rápidos?
Más rápidos, mediblemente. Mejores, probablemente, aunque con advertencias.
Para cuando 487 jueces completaron el programa de capacitación, el distrito medio registró un aumento del 6,3% en casos resueltos. Las tasas de apelación cayeron ligeramente, una señal de que la velocidad no se estaba logrando obviamente a costa de la precisión. Cada juez capacitado resolvió alrededor de 38,5 casos más al mes que la línea base.
| Métrica | Resultado |
|---|---|
| Jueces en el ensayo | 1.559 |
| Casos en atraso | 2.260.000 |
| Aumento de productividad | 6,3% |
| Casos adicionales por juez capacitado al mes | 38,5 |
| Ahorro de costos por $1 gastado | $38,50 |
| Inicios de sesión posteriores a la capacitación por juez | 56 |
| Solicitudes posteriores a la capacitación por juez | 212 |
Para evaluar la calidad, el equipo utilizó GPT-5-mini de OpenAI (una versión más ligera y rápida del último modelo GPT) para comparar pares de sentencias del mismo juez, antes y después de la capacitación. La IA eligió la sentencia posterior a la capacitación el 59% de las veces. Dos abogados pakistaníes experimentados estuvieron de acuerdo con esas selecciones el 70,6% de las veces, y el uno con el otro el 73% de las veces, lo que sugiere que la puntuación de calidad de IA es un proxy razonable pero imperfecto.
David Autor, profesor de economía en el MIT, calificó el resultado como creíble. "El impulso de productividad del 6,3% no es abrumador", dijo, "pero es creíble y probablemente mejore a medida que la herramienta se use más ampliamente".
¿Cuál es la preocupación honesta aquí?
La capacitación importó más que el software en sí. Los jueces que recibieron seis sesiones de 90 minutos cubriendo cómo funciona la IA, sus limitaciones y el riesgo de sesgo y alucinaciones utilizaron la herramienta consistentemente durante los nueve meses completos. Quienes recibieron solo capacitación genérica en tecnología iniciaron sesión un puñado de veces. Quienes no recibieron nada la probaron durante aproximadamente un mes y dejaron de usarla.
La preocupación mayor es la delegación. Aproximadamente una de cada cinco solicitudes pidió a JudgeGPT cuál debería ser la decisión correcta, o le pidió que escribiera una opinión legal con mínima participación del juez. Esto cruza una línea que la mayoría de sistemas legales dibujan firmemente. La capacitación redujo esa proporción, pero no la eliminó.
John Zeleznikow, profesor de derecho y tecnología en La Trobe University en Australia, expresa bien la brecha: "Lo que no está claro es si lo que llamarías la calidad de la justicia es mejor".
Para el juez que habló con los investigadores de forma anónima, sin embargo, la realidad cotidiana es más simple. Ha llevado más de 1.000 casos activos durante más de una década. "Para investigación, es solo una solicitud de distancia", dijeron, "mientras que antes tenía que buscar los precedentes y leyes durante horas".
Lo que debes saber: Si tu lugar de trabajo está pilotando una herramienta de IA, presiona fuerte por capacitación estructurada, no solo un login y una contraseña. Este estudio muestra que el acceso sin educación produce un mes de curiosidad y luego abandono. Seis sesiones lo cambiaron todo.
