Що таке велика мовна модель і як вона працює?
Простий посібник до технології, що стоїть за ChatGPT, Claude та всіма AI системами, які здаються вас розуміють.
Велика мовна модель (LLM) — це тип штучного інтелекту, навчений на величезних обсягах текстових даних, який може читати, писати, підсумовувати та відповідати на запитання природною мовою. Вона працює, вивчаючи закономірності в мільярдах слів, а потім передбачаючи найбільш корисне наступне слово, речення чи ідею. Думайте про це як про автозаповнення, яке закінчило університет.
Що насправді означає «велика»?
Слово «велика» відноситься до двох речей одночасно: розміру навчальних даних і кількості «параметрів» усередині моделі. Параметри — це регульовані внутрішні налаштування, трохи як крихітні циферблати, які модель налаштовує під час навчання, щоб краще передбачати текст. GPT-4, як вважається, має сотні мільярдів параметрів, тому запуск цих моделей потребує серйозних обчислювальних ресурсів.
Більше параметрів не завжди означає розумнішу модель. Дослідники виявили, що ретельно відібрані, менші набори даних можуть дати дивовижно потужні моделі з частиною розміру. Ярлик «велика» стає радше умовною величиною, ніж суворим правилом.
Як насправді працює навчання?
Навчання — це процес показу моделі величезної кількості текстів і того, щоб вона багаторазово вгадувала наступне слово, а потім коригувала ці внутрішні налаштування кожного разу, коли помилялась. Робіть це мільярди разів, і модель починає захоплювати граматику, факти, стилі міркування та навіть тон.
Домінуючий метод у сучасних LLM називається архітектурою трансформатора, представленою у знаковій роботі 2017 року. Трансформатори використовують механізм під назвою «увага», який дозволяє моделі зважити, наскільки актуальне кожне слово в реченні для кожного іншого слова, тому вона розуміє контекст, а не просто порядок слів.
Після цього початкового навчання більшість комерційних моделей проходять другий етап, називається RLHF (навчання зі змісненням з людської зворотної інформації). Люди-оцінювачі оцінюють відповіді моделі, а ці оцінки навчають модель бути більш корисною й менш шкідливою.
Що насправді може робити LLM?
На практиці добре навчена LLM може складати листи, пояснювати медичні терміни, писати код, перекладати мови та підсумовувати довгі документи. Реальний приклад: практика сімейного лікаря у Британії використовувала LLM для складання листів наступних консультацій пацієнтам, скоротивши адміністративний час приблизно вдвічі, оскільки модель могла перетворити маркери лікаря на повний, читаний текст за секунди.
Те, що вона не може робити надійно — це міркування від перших принципів, доступ до живої інформації (якщо не надано інструмент для пошуку в мережі) або гарантування фактичної точності. LLM іноді «галюцинують», тобто впевнено стверджують речі, які просто невірні. Дослідження компанії Anthropic щодо поведінки моделі пояснює, чому це відбувається і як розробники намагаються це зменшити.
Чим LLM відрізняється від пошукової системи?
Пошукова система знаходить і ранжує сторінки, які вже існують. LLM генерує новий текст з нуля, спираючись на закономірності, які вона засвоїла під час навчання. Пошук дає вам список джерел; LLM дає вам синтезовану відповідь без гарантії, що вона вказує на первоначальні докази.
Два все частіше поєднуються. Такі інструменти, як пошук, доповнений генерацією (RAG), дозволяють LLM витягти живі документи перед відповіддю, поєднуючи найкраще з обох підходів.
Скільки це коштує?
| Модель / сервіс | Безплатний рівень | Платний рівень починається з |
|---|---|---|
| ChatGPT (OpenAI) | Так, GPT-4o mini | ~$20/місяць для Plus |
| Claude (Anthropic) | Так, Claude 3 Haiku | ~$20/місяць для Pro |
| Gemini (Google) | Так, Gemini 1.5 Flash | ~$20/місяць для Advanced |
| Доступ до API (створіть своє) | Кредити використання при реєстрації | Оплата за токен (част. центу) |
Для більшості звичайних користувачів безплатні рівні охоплюють повсякденні завдання. Важкі користувачі або розробники, які платять за токен (токен — це приблизно три-чотири символи тексту), можуть швидко накопити витрати на довгих документах.
Які конфіденційності варто мені знати?
Так, і вони важливі. Коли ви вводите запит у комерційну LLM, цей текст відправляється на сервери постачальника. Багато постачальників заявляють у своїх умовах, що вони можуть використовувати ваші розмови для вдосконалення майбутніх моделей, якщо ви активно не відмовитеся. Елементи керування конфіденційністю OpenAI дозволяють вам відключити використання навчальних даних, але це налаштування за замовчуванням не увімкнене для всіх користувачів.
Не вставляйте персональні дані, медичні записи, фінансові деталі або конфіденційну ділову інформацію у публічну LLM, якщо ви не перевірили умови обробки даних постачальника ретельно.
Часті запитання
Чи LLM — це те саме, що штучний загальний інтелект?
Ні. LLM — це спеціалізована система, навчена передбачати текст. Штучний загальний інтелект (AGI) означатиме систему, яка може вчитися та міркувати в будь-якій галузі так, як людина, що-то дослідники вважають відкритою та невирішеною проблемою.
Чи може LLM дізнатися нові факти після випуску?
Не самостійно. Стандартна LLM має «дату знань», дату закінчення її навчальних даних, і вона не оновлюється, коли відбуваються нові события. Деякі системи додають живі пошукові інструменти зверху, щоб обійти це обмеження.
Чому LLM іноді вигадує речі?
Тому що вона принципово є машиною завершення закономірностей, а не перевіркою фактів. Якщо закономірність речення сильно вказує на правдоподібну відповідь, модель її видає, навіть коли немає надійних доказів. Дослідження цієї проблеми галюцинацій активно ведеться в великих лабораторіях.
