O Assistente de Juiz de IA do Paquistão Resolveu 38 Casos Extra por Mês por Juiz. Eis o Que Realmente Funcionou.

Pontos-chave

• Um ensaio em 1.559 juízes paquistaneses constatou que uma ferramenta jurídica personalizada de IA aumentou os casos resolvidos em 6,3% ao longo de nove meses em 2024.
• Os tribunais do Paquistão têm um acervo de 2,26 milhões de casos e contêm menos de dois juízes por 100.000 habitantes, comparado com 22 na UE.
• Os juízes treinados completaram aproximadamente 38,5 casos adicionais por mês, economizando um estimado de $38,50 em custos judiciais para cada $1 gasto na execução da ferramenta.
• Os juízes que receberam seis sessões de treinamento fizeram login na ferramenta 56 vezes em média e enviaram 212 prompts, contra 10 logins para os que receberam apenas treinamento genérico.
• Aproximadamente um em cada cinco prompts envolveu juízes pedindo à IA para tomar decisões ou redigir pareceres com pouca intervenção humana, levantando preocupações contínuas com a qualidade.

Os tribunais do Paquistão estão a afogar-se. Mais de 2,26 milhões de casos acumulam-se num acervo, e o país tem menos de dois juízes para cada 100.000 habitantes. A União Europeia consegue 22 juízes por 100.000; o Brasil tem 8. Algo tinha de ceder.

Então o economista Sultan Mehmood da New Economic School em Moscovo, juntamente com colaboradores incluindo Elliott Ash de ETH Zurique, construíram uma ferramenta chamada JudgeGPT e realizaram o que pode ser o primeiro teste independente em larga escala de IA dentro de um sistema judicial em funcionamento. Os seus resultados, primeiro reportados pela IEEE Spectrum AI, surgem num momento incómodo: juízes em vários países já foram apanhados a usar silenciosamente chatbots de IA comerciais de formas que os tribunais nunca aprovaram.

O que é JudgeGPT e como funciona?

JudgeGPT é um assistente de IA personalizado construído especificamente para os tribunais paquistaneses. A equipa integrou o GPT-4 da OpenAI, o modelo de linguagem grande (um sistema de IA treinado em quantidades vastas de texto para gerar e analisar linguagem) que também alimenta muitos chatbots comerciais, sobre uma base de dados de 128.292 pareceres judiciais paquistaneses e 943 estatutos.

A correção fundamental para a precisão foi uma técnica chamada geração aumentada por recuperação, ou RAG. Pense nela como dar à IA uma biblioteca privada para verificar antes de responder. Em vez de adivinhar jurisprudência, a ferramenta procura a base de dados, obtém os documentos relevantes e mostra as suas fontes em notas de rodapé. Ash coloca-o claramente: "Resulta que a forma de corrigir alucinações não é apenas modelos mais inteligentes. É anexar os modelos a uma ferramenta que consegue fazer uma busca e verificar as fontes." Alucinações, em termos de IA, significa o modelo inventar confiadamente factos que não existem.

Chatbots comerciais testados anteriormente tinham falhado gravemente em consultas jurídicas paquistanesas, fabricando regularmente citações de casos. JudgeGPT foi construído para evitar isso.

Será que realmente tornou os juízes melhores ou apenas mais rápidos?

Mais rápido, mensurável. Melhor, provavelmente, embora com ressalvas.

Quando 487 juízes tinham completado o programa de treinamento, o distrito mediano registou um aumento de 6,3% nos casos resolvidos. As taxas de apelação caíram ligeiramente, um sinal de que a velocidade não estava obviamente a prejudicar a precisão. Cada juiz treinado resolveu cerca de 38,5 casos adicionais por mês comparado à linha de base.

Métrica	Resultado
Juízes no ensaio	1.559
Casos no acervo	2.260.000
Aumento de produtividade	6,3%
Casos adicionais por juiz treinado por mês	38,5
Economia de custos por $1 gasto	$38,50
Logins pós-treinamento por juiz	56
Prompts pós-treinamento por juiz	212

Para avaliar a qualidade, a equipa usou o GPT-5-mini da OpenAI (uma versão mais leve e rápida do modelo GPT mais recente) para comparar pares de sentenças do mesmo juiz, antes e depois do treinamento. A IA escolheu a sentença pós-treinamento 59% das vezes. Dois advogados paquistaneses experientes concordaram com essas escolhas 70,6% das vezes, e um com o outro 73% das vezes, sugerindo que a pontuação de qualidade da IA é um proxy razoável mas imperfeito.

David Autor, professor de economia no MIT, chamou o resultado credível. "O aumento de produtividade de 6,3% não é avassalador," disse ele, "mas é credível e é provável que melhore conforme a ferramenta seja mais amplamente utilizada."

Qual é a preocupação honesta aqui?

O treinamento importou mais do que o software em si. Os juízes que receberam seis sessões de 90 minutos cobrindo como a IA funciona, seus limites e o risco de viés e alucinações usaram a ferramenta consistentemente durante os nove meses completos. Os que receberam apenas treinamento tecnológico genérico fizeram login algumas poucas vezes. Os que não receberam nada experimentaram-na durante cerca de um mês e pararam.

A preocupação maior é a delegação. Aproximadamente um em cada cinco prompts pediu ao JudgeGPT qual deveria ser a decisão correta, ou pediu-lhe para redigir um parecer jurídico com mínima contribuição do juiz. Isso ultrapassa uma linha que a maioria dos sistemas jurídicos traça firmemente. O treinamento reduziu essa proporção, mas não a eliminou.

John Zeleznikow, professor de direito e tecnologia na Universidade La Trobe na Austrália, enquadra bem a lacuna: "O que não está tão claro é se o que se chama qualidade da justiça é melhor."

Para o juiz que falou com os investigadores anonimamente, porém, a realidade diária é mais simples. Ele tem tido mais de 1.000 casos activos durante mais de uma década. "Para pesquisa, é apenas um prompt de distância," disse ele, "enquanto antes eu tinha de procurar pelos precedentes e leis durante horas."

O resumo: Se o seu local de trabalho está a fazer um piloto de uma ferramenta de IA, insista fortemente em treinamento estruturado, não apenas um login e uma senha. Este estudo mostra que o acesso sem educação produz um mês de curiosidade e depois abandono. Seis sessões mudaram tudo.