Менша ШІ модель, навчена на одній мові, перемогла двох більших і новіших моделей у тесті португальської мови

Ключові моменти

• DharmaOCR набрала 0.925 балів у тесті бразильської португальської мови порівняно з 0.798 для Mistral OCR4 і 0.7587 для Unlimited-OCR.
• Обидві конкуруючі моделі були випущені після DharmaOCR і підтримані більшими дослідницькими командами.
• DharmaOCR була навчена у два етапи: спочатку на португальських документах, потім на основі порівняльного зворотного зв'язку для зменшення помилок і скорочення витрачених обчислювальних ресурсів.
• Різниця була найбільш помітною на реальних бразильських документах, таких як есе ENEM, національного іспиту для закінчення середньої школи в Бразилії.
• Перевага випливає зі спеціалізації: кожна частина моделі орієнтована на одну мову, а не на десятки.

Невелика, спеціалізована ШІ модель щойно перемогла двох новіших і краще забезпечених конкурентів у читанні тексту бразильською португальською мовою. Перевага була очевидною.

DharmaOCR, модель оптичного розпізнавання символів (програмне забезпечення, яке читає текст із відсканованих документів і зображень та перетворює його на редагований текст), розроблена спеціально для бразильської португальської мови, набрала 0.925 балів у спеціалізованому тесті португальської мови. Mistral OCR4 набрала 0.798. Unlimited-OCR набрала 0.7587. Це різниця у 13–16 відсоткових пунктів на користь менш, старішої та більш спеціалізованої системи.

Дослідники поділилися своїми результатами на платформі Hugging Face, де команди ШІ публікують моделі та документи.

Чому спеціалізована модель перемогла?

Спеціалізація перемогла, тому що кожна частина моделі була спрямована на один бажаний результат. Коли ШІ навчається на десятках мов, її потужність розсіюється. Коли вона навчається на одній мові, кожен параметр, кожне внутрішнє з'єднання, може сконцентруватися на словнику цієї мови, закономірностях написання та особливостях документів.

DharmaOCR була розроблена у два етапи. На першому етапі модель була навчена на широкому розмаїтті португальськомовних документів різних рівнів складності. На другому етапі був використаний метод, названий Direct Preference Optimization, де модель навчалася не лише тому, який правильний відповідь, а й тому, який із двох конкуруючих результатів був кращим. Цей другий етап зменшив розповсюджений режим помилки в ШІ текстових інструментах: схильність зациклюватися, повторюватися або видавати неправильний результат під час навантаження.

Комбінація зробила модель як точною, так і стабільною.

Практична різниця чітко проявилася у есе ENEM, написаних від руки екзаменаційних роботах національного бразильського тесту для закінчення середньої школи. Ці документи поєднують письмовий текст з іменами, сленгом і культурними посиланнями, які характерні для Бразилії.

Mistral OCR4 прочитала ім'я Chico Buarque, одного з найвідоміших музикантів і поетів Бразилії, як "Chico Barque". Unlimited-OCR передала те саме ім'я як "chico bique" і перетворила цитату Buarque на майже нерозбірливість. DharmaOCR прочитала обидва правильно.

Це не випадкові помилки. Модель, яка мало навчалася на бразильській португальській мові, буде помилятися саме на словах, які роблять бразильську португальську мову особливою. Знамениті імена — це не граничні випадки. Помилка в них указує на те, що модель не витратила достатньо часу в цьому конкретному мовному просторі.

Більш широкий урок тут важливий для кожного, хто вибирає ШІ інструменти для конкретної задачі. Модель, яка робить все, як правило, виконує кожне завдання гірше, ніж та, яка розроблена спеціально для вашої точної задачі. Це зміщення вибірки, що працює навпаки: цифри, які виглядають вражаючими для великої багатомовної моделі, можуть не передбачити, що станеться з вашими документами, вашою мовою або вашою індустрією, де спеціалізована система може просто перемогти.

Висновок: Перш ніж платити за найбільший доступний ШІ інструмент, протестуйте той, що розроблений спеціально для вашої точної задачі. Показники тестування на широких тестах не завжди передбачають, що станеться з вашими конкретними документами.