Що таке галюцинації штучного інтелекту та чому вони трапляються?

Галюцинації ШІ трапляються, коли велика мовна модель (система штучного інтелекту, навчена на величезних обсягах написаного тексту) стверджує щось хибне з повною впевненістю. Вони трапляються, тому що ці моделі побудовані на тому, щоб передбачати правдоподібні слова, а не перевіряти факти. Думайте про це як про дуже красномовного угадувача, який іноді помиляється, не усвідомлюючи цього.

Чому штучний інтелект вигадує речі?

Модель не брехає. У неї немає жодного наміру. Вона розраховує, яке слово найімовірніше буде наступним після попереднього, на основі закономірностей, які вона засвоїла під час навчання. Коли правильна відповідь знаходиться поза цими закономірностями, модель все одно генерує щось, що звучить правильно, тому що звучати правильно — це саме те, на що вона була навчена.

Цю тенденцію іноді називають «конфабуляцією» (термін запозичений з нейронауки, що означає заповнення прогалин у пам'яті правдоподібними, але вигаданими деталями). Дослідники Anthropic описують суть проблеми як моделі, оптимізовані для схвалення людини, а не для фактичної точності, що може спрямувати результати до впевнених відповідей навіть коли модель невпевнена.

Як насправді виглядає галюцинація?

Галюцинація — це не завжди очевидна помилка. Іноді це реальна людина з вигаданою посадою. Іноді це реальна судова справа з вигаданим посиланням. Іноді це реальний препарат з вигаданою дозуванням. Спільна ознака: все навколо помилки правдоподібне, що саме й робить це небезпечним.

Приклад з реального життя: адвокат з Нью-Йорка поданий судовий проект, що посилався на кілька справ, згенерованих ChatGPT. Ці справи не існували, але посилання виглядали абсолютно реально. Адвокат не перевірив їх проти реальної юридичної бази даних.

Чому деякі системи ШІ галюцинують більше, ніж інші?

Кілька факторів підвищують або знижують цей показник. Більші набори даних для навчання допомагають, але це не панацея. Дотягування (додаткове навчання на спеціалізованому матеріалі) зменшує помилки в конкретній сфері. Генерація з розширеним пошуком, звичайно называємою RAG, — це метод, коли штучному інтелекту надається свіжий набір документів для цитування перед відповіддю замість того, щоб спиратися виключно на пам'ять, і вона виміримо зменшує галюцинації під час виконання фактичних завдань. Технічна робота OpenAI над GPT-4 зазначає, що методи навчання, як-от навчання з посиленням на основі зворотного зв'язку від людини, зменшують, але не усувають хибні результати.

Фактор	Вплив на частоту галюцинацій
Більші, чистіші дані для навчання	Помірно зменшує
RAG (прямий пошук документів)	Значно зменшує для фактів
Навчання з посиленням на основі зворотного зв'язку від людини	Зменшує, не усуває
Запит про рідкісні або дуже специфічні факти	Підвищує
Прохання моделі цитувати джерела, які їй не були надані	Значно підвищує

Чи може штучний інтелект зрозуміти, коли він галюцинує?

Здебільшого ні. Модель внутрішньо виробляє оцінку впевненості, але дослідження NIST показує, що системи ШІ часто погано калібровані, що означає, що вони можуть повідомляти про високу впевненість, будучи неправильними. Деякі новіші системи додають окремий крок перевірки, але це не універсально та не ловить кожну помилку.

Як я можу захистити себе від галюцинацій ШІ?

Перевіряйте все важливе. Це коротка відповідь. Ставтеся до результатів ШІ так, як до спонтанного твердження розумної людини: корисно як відправна точка, але не як остаточне джерело.

Чотири практичні звички допомагають. По-перше, попросіть ШІ показати своє логічне обґрунтування крок за кроком. Помилки легше помітити, коли логіка видима. По-друге, перехресна перевірка конкретних тверджень проти первинного джерела, а не другого ШІ. По-третє, будьте більш обережні під час запитувань про нішеві теми, нещодавні події або все, що потребує точних цифр. По-четверте, надавайте перевагу інструментам, які посилаються на фактичні документи, з яких вони брали матеріал, щоб ви могли прочитати оригінал.

Чи регулюють ЄС або якась влада галюцинації ШІ?

Закон про ШІ ЄС, який набув чинності у 2024 році, класифікує системи ШІ, що використовуються в областях високого ризику (медицина, право, найм), під суворими правилами точності та прозорості. Постачальники повинні документувати обмеження, які включають ризики галюцинацій. Це не забороняє галюцинації; це вимагає, щоб компанії були щодо них відверті.

Скільки коштує використання інструментів ШІ, які це краще обробляють?

Більшість основних помічників ШІ пропонують безплатний рівень, який достатньо хороший для випадкового використання. GPT-4o є безплатним на ChatGPT з щоденними обмеженнями. Claude має безплатний рівень на claude.ai. Обидва стягають приблизно 20 доларів США на місяць за вищу кількість використань та доступ до функцій, таких як завантаження документів, що дозволяє використовувати вищезгаданий метод RAG. Платіння більше зменшує частоту галюцинацій під час виконання складних завдань, але це не робить помилки неможливими.

Застереження щодо конфіденційності: коли ви вставляєте документ у чат-бот для перевірки фактів, цей документ може бути використаний для вдосконалення моделі, якщо ви не відмовитеся від цього. Перевірте налаштування даних перед завантаженням будь-чого чутливого, особливо медичних записів або конфіденційних робочих файлів.

Поширені запитання

Галюцинації ШІ з часом покращуються?

Так, вимірювально, але вони не були вирішені. Послідовні покоління моделей від основних лабораторій демонструють нижчі показники помилок на стандартних тестових наборах, однак навіть найкращі поточні моделі все ще видають хибну інформацію при складних або нішевих запитаннях.

Чи існує тип запитання, який завжди викликає галюцинації?

Прохання до ШІ надати конкретні посилання, посилання на судові справи або точну статистику, яка не була надана в розмові, — це найнадійніший спосіб викликати одну. Модель часто вигадає правдоподібну відповідь замість того, щоб визнати, що вона не знає.

Чи галюцинують генератори зображень ШІ?

У більш вільному сенсі так. Моделі зображень можуть генерувати анатомічно неправильні деталі, такі як додаткові пальці або об'єднані об'єкти, тому що вони працюють на тих же принципах розпізнавання закономірностей, зібираючи видимі елементи, які виглядають статистично правдоподібно, а не перевіряючи їх проти дійсності.