Um Modelo de IA Mais Pequeno Treinado Numa Única Língua Venceu Dois Modelos Maiores e Mais Recentes em Leitura de Português Brasileiro

Pontos-chave

• DharmaOCR obteve 0.925 numa referência de português brasileiro, comparado com 0.798 do Mistral OCR4 e 0.7587 do Unlimited-OCR.
• Ambos os modelos concorrentes foram lançados após o DharmaOCR e apoiados por equipas de investigação maiores.
• DharmaOCR foi treinado em duas fases: primeiro em documentos em português especificamente, depois em feedback comparativo para reduzir erros e diminuir o tempo computacional desperdiçado.
• A diferença foi mais visível em documentos brasileiros reais, como redações do ENEM, o exame nacional do ensino médio do Brasil.
• A vantagem resulta da concentração: cada parte do modelo aponta para uma única língua em vez de dezenas.

Um pequeno modelo de IA focado acaba de superar dois rivais mais recentes e melhor dotados de recursos na leitura de texto em português brasileiro. A margem não foi pequena.

DharmaOCR, um modelo OCR (software que lê texto a partir de documentos digitalizados e imagens e converte-o em palavras editáveis) construído especificamente para português brasileiro, obteve uma pontuação de 0.925 numa referência dedicada ao português. Mistral OCR4 obteve 0.798. Unlimited-OCR obteve 0.7587. Esta é uma diferença de 13 a 16 pontos percentuais a favor da ferramenta mais pequena, mais antiga e mais especializada.

Os investigadores partilharam os seus resultados no Hugging Face, a plataforma onde equipas de IA publicam modelos e trabalhos.

Porque é que um modelo mais especializado venceu?

A especialização venceu porque cada parte do modelo estava focada no mesmo alvo. Quando um modelo de IA é treinado em dezenas de línguas, a sua capacidade fica diluída. Quando é treinado numa única língua, cada parâmetro, cada conexão interna, pode concentrar-se no vocabulário dessa língua, nos padrões ortográficos e nas particularidades dos documentos.

DharmaOCR foi construído em duas fases. A primeira fase treinou o modelo numa ampla gama de documentos em língua portuguesa com diferentes níveis de complexidade. A segunda fase utilizou uma técnica chamada Direct Preference Optimization, em que o modelo aprendeu não apenas qual era a resposta correta, mas qual de duas saídas concorrentes era melhor. Essa segunda fase eliminou um modo de falha comum em ferramentas de texto de IA: a tendência de entrar em ciclo, repetir ou produzir disparates sob pressão.

A combinação tornou o modelo preciso e estável.

A diferença prática manifestou-se claramente nas redações do ENEM, documentos de exame manuscritos do teste nacional do ensino médio do Brasil. Estes documentos misturam escrita cursiva com nomes, gíria e referências culturais específicas do Brasil.

Mistral OCR4 leu o nome Chico Buarque, um dos músicos e poetas mais famosos do Brasil, como "Chico Barque". Unlimited-OCR interpretou o mesmo nome como "chico bique" e transformou uma citação de Buarque em quase-disparates. DharmaOCR leu ambas corretamente.

Estas não são falhas aleatórias. Um modelo treinado superficialmente em português brasileiro falhará precisamente nas palavras que tornam o português brasileiro distinto. Nomes famosos não são casos extremos. Cometê-los mal é um sinal de que o modelo não passou tempo suficiente neste espaço linguístico específico.

A lição mais ampla aqui é importante para quem quer escolher ferramentas de IA para uma tarefa específica. Um modelo que faz tudo tende a fazer cada coisa menos bem do que um construído para a sua tarefa exata. Isto é o viés de sobrevivência funcionando ao contrário: os números de destaque de um grande modelo multilingue podem parecer impressionantes, mas nos seus documentos, na sua língua ou na sua indústria, uma ferramenta focada pode simplesmente vencer.

Conclusão: Antes de pagar pela ferramenta de IA mais grande disponível, teste a construída para a sua tarefa exata. As pontuações de referência em testes amplos nem sempre predizem o que acontece nos seus documentos específicos.