Что такое галлюцинации ИИ и почему они происходят?

Галлюцинации ИИ происходят, когда большая языковая модель (система искусственного интеллекта, обученная на огромном объёме письменных данных) с полной уверенностью высказывает что-то ложное. Это происходит потому, что эти модели построены так, чтобы предсказывать правдоподобно звучащие слова, а не проверять факты. Представьте это как очень красноречивого гадателя, который иногда угадывает неправильно, не осознавая этого.

Почему ИИ выдумывает вещи?

Модель не лжёт. У неё нет никаких намерений. То, что она делает — это вычисляет, какое слово наиболее вероятно будет следовать после предыдущего, исходя из закономерностей, усвоенных во время обучения. Когда правильный ответ находится за пределами этих закономерностей, модель всё равно генерирует что-то, что звучит правильно, потому что звучать правильно — это именно то, для чего её обучали.

Эта склонность иногда называется «конфабуляцией» (термин, заимствованный из нейробиологии, означающий заполнение пробелов в памяти правдоподобными, но выдуманными деталями). Исследователи Anthropic описывают основную проблему как оптимизацию моделей для получения одобрения человека, а не для достижения фактической точности, что может привести к уверенно звучащим ответам даже когда модель не уверена.

Как выглядит галлюцинация на самом деле?

Галлюцинация — это не всегда очевидный вымысел. Иногда это реальный человек с выдуманной должностью. Иногда это реальное судебное дело с сфабрикованной ссылкой. Иногда это реальное лекарство с придуманной дозировкой. Общий момент: всё вокруг ошибки звучит правдоподобно, и это именно то, что делает её опасной.

Реальный пример: нью-йоркский адвокат подал судебное ходатайство, ссылаясь на несколько дел, созданных ChatGPT. Эти дела не существовали, но цитаты выглядели совершенно реальными. Адвокат не проверил их в соответствии с реальной юридической базой данных.

Почему некоторые системы ИИ галлюцинируют больше, чем другие?

Несколько факторов повышают или понижают частоту галлюцинаций. Большие наборы данных для обучения помогают, но это не панацея. Тонкая настройка (дополнительное обучение на специализированном материале) снижает ошибки в определённой области. Поиск с увеличением генерации (обычно называемый RAG) — это метод, при котором ИИ получает свежий набор документов для цитирования перед ответом вместо того, чтобы полагаться исключительно на память, и это заметно снижает галлюцинации при работе с фактами. Технические работы OpenAI по GPT-4 отмечают, что методы обучения, такие как обучение с подкреплением на основе обратной связи от человека, снижают, но не устраняют ложные выходные данные.

Фактор	Влияние на частоту галлюцинаций
Больший, чистый набор данных для обучения	Снижает умеренно
RAG (прямое извлечение документов)	Существенно снижает для фактов
Обучение с подкреплением на основе обратной связи от человека	Снижает, не устраняет
Запрос редких или очень специфических фактов	Повышает
Просьба модели цитировать источники, которые ей не были даны	Резко повышает

Может ли ИИ определить, когда он галлюцинирует?

В основном нет. Модель производит оценку уверенности внутри, но исследования NIST показывают, что системы ИИ часто плохо откалиброваны, что означает, что они могут сообщать о высокой уверенности, будучи неправы. Некоторые более новые системы добавляют отдельный этап проверки, но это не универсально и не ловит каждую ошибку.

Как защитить себя от галлюцинаций ИИ?

Проверяйте всё важное. Это краткий ответ. Относитесь к результатам ИИ так же, как вы относились бы к импровизированному утверждению умного друга: полезно как отправная точка, но не как окончательный источник.

Четыре практических привычки помогают. Во-первых, попросите ИИ показать своё рассуждение пошагово. Ошибки легче заметить, когда логика видна. Во-вторых, перепроверьте конкретные утверждения по первичному источнику, а не по второму ИИ. В-третьих, будьте осторожнее при вопросах о нишевых темах, недавних событиях или чём-либо, требующем точных цифр. В-четвёртых, предпочитайте инструменты, которые цитируют реальные документы, из которых они черпали информацию, чтобы вы могли прочитать оригинал.

Регулирует ли ЕС или какое-либо правительство галлюцинации ИИ?

Закон об ИИ ЕС, который вступил в силу в 2024 году, классифицирует системы ИИ, используемые в областях высокого риска (медицина, право, найм), в соответствии со строгими правилами точности и прозрачности. Поставщики должны документировать ограничения, включая риски галлюцинаций. Это не запрещает галлюцинации; это требует, чтобы компании были откровенны по их поводу.

Сколько стоит использование инструментов ИИ, которые лучше с этим справляются?

Большинство крупных помощников ИИ предлагают бесплатный уровень, подходящий для случайного использования. GPT-4o доступен бесплатно на ChatGPT с дневными лимитами. Claude имеет бесплатный уровень на claude.ai. Оба взимают примерно 20 долларов США в месяц за более высокое использование и доступ к функциям, таким как загрузка документов, что позволяет использовать упомянутый выше подход RAG. Более высокая плата действительно снижает частоту галлюцинаций при работе со сложными задачами, но это не делает ошибки невозможными.

Замечание о приватности: когда вы вставляете документ в чатбот для проверки фактов, этот документ может быть использован для улучшения модели, если вы не отклоните это. Проверьте настройки данных перед загрузкой чего-либо конфиденциального, особенно медицинских записей или конфиденциальных рабочих файлов.

Часто задаваемые вопросы

Улучшаются ли галлюцинации ИИ со временем?

Да, измеримо, но они не были решены. Последовательные поколения моделей от крупных лабораторий показывают более низкие показатели ошибок на стандартных тестах, однако даже лучшие текущие модели всё ещё производят ложную информацию на сложные или нишевые запросы.

Есть ли тип вопроса, который всегда производит галлюцинации?

Просьба к ИИ предоставить конкретные цитаты, ссылки на судебные дела или точную статистику, которая не была ему дана в беседе, — это самый надежный способ вызвать галлюцинацию. Модель часто выдумает правдоподобно выглядящий ответ, вместо того чтобы признать, что она не знает.

Галлюцинируют ли генераторы изображений ИИ?

В более свободном смысле да. Модели изображений могут генерировать анатомически неправильные детали, такие как дополнительные пальцы или слитые объекты, потому что они работают на аналогичных принципах сопоставления закономерностей, собирая визуальные элементы, которые выглядят статистически правдоподобно, а не проверяя их против реальности.