Liquid AI випустила два компактні моделі енкодерів для швидкого аналізу довгих документів навіть на ноутбуці
LFM2.5-Encoder-230M та LFM2.5-Encoder-350M можуть сканувати весь контракт за менш ніж 30 секунд на звичайному комп'ютерному обладнанні без спеціалізованих мікросхем.
Ключові моменти
- Компанія Liquid AI випустила дві моделі енкодерів LFM2.5-Encoder-230M та LFM2.5-Encoder-350M на платформі Hugging Face невизначеною датою у 2026 році.
- Менша модель 230M працює приблизно в 3,7 рази швидше за порівняльну модель ModernBERT-base на стандартному процесорі ноутбука при обробці довгих текстів.
- Обидві моделі обробляють до 8 192 токенів, приблизно від шести до восьми сторінок щільного тексту, за один прохід.
- LFM2.5-Encoder-350M посіла четверте місце серед 14 протестованих моделей, поступившись лише моделям у 10 разів більшого розміру.
- Обидві моделі мають відкритий код ваги та доступні для безкоштовного завантаження з Hugging Face.
Компанія Liquid AI, заснована у Бостоні, випустила дві нові моделі енкодерів — тип моделей штучного інтелекту, що читають і розуміють текст, а не генерують його з нуля. Моделі називаються LFM2.5-Encoder-230M та LFM2.5-Encoder-350M, і вони доступні прямо зараз на Hugging Face, платформі з відкритим кодом, де дослідники та розробники ділятися моделями.
Якщо ви ніколи не чули про енкодер, подумайте про це так. Чат-бот на кшталт ChatGPT генерує нові речення слово за словом. Енкодер виконує протилежну роботу: він читає текст та визначає його значення, чи то позначення електронного листа як спаму, виявлення персональних даних у документі, чи маршрутизація запиту клієнта до правильного відділу. Компанії постійно виконують ці завдання цілий день, що робить швидкість і витрати вирішальними факторами.
Чому важливо працювати на процесорі ноутбука?
Більшість передових моделей штучного інтелекту вимагають дорогих спеціалізованих мікросхем, які називаються GPU, щоб працювати з корисною швидкістю. Ці енкодери не потребують цього. На звичайному ноутбучному процесорі модель 230M обробляє повний документ з 8 192 токенами, приблизно від шести до восьми сторінок тексту, приблизно за 28 секунд. Найближча конкуруюча модель ModernBERT-base на тому ж обладнанні для того ж розміру займає понад 90 секунд.
Розрив у швидкості в 3,7 рази — це основна претензія, й вона найбільше важлива для менших команд чи компаній, які не хочуть платити за GPU у хмарі для рутинної роботи з класифікацією.
Наскільки добрі результати?
Швидкість мало що означає без точності. Liquid AI протестувала обидві моделі на 17 завданнях з наборів GLUE та SuperGLUE, двох стандартних наборів орієнтирів, які дослідники використовують для оцінки того, наскільки добре модель розуміє мову. Серед 14 моделей у порівнянні LFM2.5-Encoder-350M посіла четверте місце. Кожна модель попереду неї була більшою, включаючи одну майже у 10 разів більшого розміру з 3,5 мільярдами параметрів.
Менша модель 230M перевершила ModernBERT-base та кожний варіант EuroBERT, незважаючи на те, що вона фізично менша за більшість з них.
| Модель | Параметри | Рейтинг GLUE/SuperGLUE |
|---|---|---|
| LFM2.5-Encoder-350M | 350M | 4-е місце з 14 |
| LFM2.5-Encoder-230M | 230M | переважає ModernBERT-base |
| ModernBERT-base | ~149M | нижче обох моделей LFM2.5 |
Що насправді можна побудувати з цим?
Liquid AI пропонує кілька готових до використання демонстрацій: інструмент, який виявляє та видаляє 40 видів персональної інформації на 16 мовах, засіб перевірки політики, який сканує текст на відповідність правилам компанії, написаним звичайною мовою, та маршрутизатор підказок, який автоматично відправляє запити користувачів до потрібного сервісу. Усі демонстрації працюють у браузері без налаштування.
Розробники можуть також завантажити будь-яку з моделей та адаптувати її до конкретного завдання, процес, який називається fine-tuning, використовуючи стандартні інструменти Hugging Face. Liquid AI опублікувала навчальний посібник, що описує цей процес на довгих юридичних документах.
Часті запитання
Чи потрібен потужний комп'ютер для використання цих моделей?
Ні. Обидві моделі розроблені для роботи на стандартному ноутбучному процесорі або серверному CPU. Вам не потрібен GPU, хоча його використання зробить їх ще швидшими для коротших документів.
Чи безкоштовні ці моделі для використання?
Так. Обидві моделі LFM2.5-Encoder-230M та LFM2.5-Encoder-350M мають відкритий код ваги, що означає, що будь-хто може завантажити та використовувати їх безкоштовно, включаючи комерційні проекти, з урахуванням умов ліцензії на Hugging Face.
Який розмір обрати?
Власні рекомендації Liquid AI прості: виберіть модель 350M, коли пріоритет на точність, і модель 230M, коли вам потрібно обробити більше документів на годину або ваше обладнання має обмеження.
