Небольшая модель AI, обученная на одном языке, превзошла две более крупные и новые модели при чтении португальского языка Бразилии

Ключевые моменты

• DharmaOCR набрала 0,925 балла по португальскому эталону, по сравнению с 0,798 для Mistral OCR4 и 0,7587 для Unlimited-OCR.
• Обе конкурирующие модели были выпущены после DharmaOCR и поддержаны более крупными научными командами.
• DharmaOCR была обучена в два этапа: сначала на португальских документах, затем на сравнительной обратной связи для уменьшения ошибок и снижения потребления вычислительных ресурсов.
• Разница была наиболее заметна на реальных бразильских документах, таких как сочинения ENEM — национальный экзамен Бразилии для старшеклассников.
• Преимущество обусловлено концентрацией: каждая часть модели сфокусирована на одном языке, а не на десятках.

Небольшая, сфокусированная модель AI превзошла двух более новых и лучше оснащённых соперников при чтении текстов на португальском языке Бразилии. Разница была существенной.

DharmaOCR, модель OCR (программное обеспечение, которое читает текст со сканированных документов и изображений и преобразует его в редактируемые слова), созданная специально для португальского языка Бразилии, набрала 0,925 балла по специализированному португальскому эталону. Mistral OCR4 набрала 0,798. Unlimited-OCR набрала 0,7587. Это разница в 13–16 процентных пункта в пользу более компактного, более старого и специализированного инструмента.

Исследователи поделились своими выводами на Hugging Face, платформе, где команды AI публикуют модели и статьи.

Почему более специализированная модель победила?

Специализация победила, потому что каждая часть модели была направлена на одну и ту же цель. Когда AI обучена на десятках языков, её возможности распыляются. Когда она обучена на одном языке, каждый параметр, каждое внутреннее соединение, может сконцентрироваться на словарном запасе языка, орфографических закономерностях и особенностях документов.

DharmaOCR была построена в два этапа. На первом этапе модель была обучена на широком диапазоне португальских документов различных уровней сложности. На втором этапе использовалась техника, называемая Direct Preference Optimization, при которой модель узнала не только правильный ответ, но и то, какой из двух конкурирующих результатов лучше. Второй этап устранил распространённую ошибку инструментов AI для работы с текстом: склонность к зацикливанию, повторению или созданию искажённой ерунды под давлением.

Комбинация сделала модель как точной, так и стабильной.

Практическая разница была отчётливо видна на сочинениях ENEM, рукописных экзаменационных работах из национального экзамена Бразилии для старшеклассников. Эти документы содержат курсивное письмо с именами, сленгом и культурными отсылками, специфичными для Бразилии.

Mistral OCR4 прочитала имя Шику Буаркі, одного из самых известных музыкантов и поэтов Бразилии, как «Chico Barque». Unlimited-OCR выдала то же имя как «chico bique» и превратила цитату Буаркі в почти абракадабру. DharmaOCR прочитала обе правильно.

Это не случайные ошибки. Модель, поверхностно обученная на португальском языке Бразилии, будет ошибаться именно на словах, которые делают португальский язык Бразилии уникальным. Известные имена — не частные случаи. Неправильное их прочтение — признак того, что модель не потратила достаточно времени в этом конкретном языковом пространстве.

Более широкий урок здесь важен для каждого, кто выбирает инструменты AI для конкретной задачи. Модель, которая делает всё, как правило, делает каждую вещь хуже, чем та, которая создана для вашей точной задачи. Это ошибка выжившего, работающая в обратном направлении: показатели популярной многоязычной модели могут выглядеть внушительно, но на ваших документах, в вашем языке или вашей отрасли специализированный инструмент может просто победить.

Вывод: Прежде чем платить за самый большой доступный инструмент AI, протестируйте тот, который создан для вашей точной задачи. Оценки эталонов при широких тестах не всегда предсказывают то, что происходит с вашими конкретными документами.