Почему модели AI по-прежнему выдумывают детали на изображениях и что делают исследователи Apple

Ключевые моменты

• Мультимодальные большие языковые модели, системы AI, которые обрабатывают как изображения, так и текст, часто «галлюцинируют», генерируя описания, которые противоречат тому, что на самом деле находится на изображении.
• Выравнивание предпочтений — метод обучения, который учит модель предпочитать точные ответы правдоподобным, хорошо зарекомендовал себя для текстовых AI, но намного менее изучен для моделей понимания изображений.
• Apple ML Research опубликовали комплексное исследование, изучающее, как методы выравнивания влияют на модели изображений и языка, охватывающее то, что работает, что не работает и почему.
• Эти выводы имеют значение за пределами исследовательских лабораторий: эти модели используются в функциях, таких как описание изображений, визуальный поиск и инструменты доступности, которые используют миллионы людей ежедневно.

Попросите AI описать фотографию, и он обычно правильно опишет большинство деталей. Но иногда с уверенностью он добавляет объекты, людей или текст, которых на самом деле нет на изображении. Исследователи называют это галлюцинацией, и это известная, упорная проблема с классом систем AI, называемых мультимодальными большими языковыми моделями, или МЛЯЛМ, которые представляют собой модели AI, обученные одновременно понимать как изображения, так и письменный язык.

Для текстового чат-бота галлюцинация означает утверждение неправильного факта. Для модели изображения это может означать что-то более озадачивающее: описание красной машины как синей, выдумывание вывески на стене магазина или утверждение, что человек улыбается, когда он этого не делает. Модель не лжет, она просто не имеет надежной связи с изображением перед ней.

Почему это продолжает происходить?

Текстовые модели AI получили огромную пользу от этапа обучения, называемого выравниванием предпочтений. В двух словах: после начального обучения исследователи показывают модели пары ответов и учат ее предпочитать более точный и полезный. После тысяч примеров модель учится самокорректироваться.

Проблема в том, что этот этап коррекции был изучен намного меньше для моделей, которые работают с изображениями. Модель, обученная в основном на тексте, развивает сильную интуицию о том, как должны звучать предложения. Когда вы добавляете изображения, эти инстинкты не автоматически переносятся на проверку визуальных фактов.

Что найдено в исследовании Apple?

Исследование, опубликованное Apple ML Research и впервые упомянутое в более широком предварительном обзоре, было разработано для систематического анализа проблемы. Команда изучила, как различные стратегии выравнивания предпочтений изменяют поведение моделей изображений и языка, проверяя, какие подходы снижают галлюцинацию, а какие не достигают результата.

Ключевое открытие исследования состоит в том, что выравнивание для МЛЯЛМ должно учитывать второе измерение точности: не только «это предложение фактически верно?», но и «соответствует ли это предложение тому, что изображено на изображении?» Это разные вопросы, и методы обучения, разработанные только для текста, не автоматически решают визуальную проверку.

Исследование позиционируется как ресурс для более широкого научного сообщества, определяя то, что понимается, что остается открытым и в каких направлениях лежат наиболее перспективные пути.

Что это означает для обычных пользователей?

Если вы используете приложение, которое читает описания изображений, автоматически добавляет теги к фотографиям или отвечает на вопросы о загруженных вами изображениях, вы полагаетесь на эту технологию. Галлюцинации в этих контекстах — это больше, чем просто любопытство: неправильное описание в инструменте доступности может действительно ввести в заблуждение пользователя со слабым зрением.

Лучшее обучение выравниванию — это один из наиболее четких путей к моделям, которые честно относятся к тому, что они на самом деле видят. Прогресс здесь не требует от пользователей что-либо делать по-другому. Это происходит внутри процесса обучения, задолго до того, как продукт попадет на ваш телефон.

Часто задаваемые вопросы

Галлюцинация — это одна и та же проблема в моделях изображений и текстовых чат-ботах?

Не совсем. Текстовые чат-боты галлюцинируют, излагая неправильные факты. Модели изображений могут делать и это, но они также могут противоречить визуальному свидетельству прямо перед ними, описывая вещи, которых нет, или упуская вещи, которые явно есть.

Меняет ли это исследование какие-либо продукты, которые я могу использовать прямо сейчас?

Нет. Это фундаментальное исследование, а не объявление о продукте. Его ценность заключается в том, чтобы дать другим исследователям более четкую карту проблемы, чтобы будущие модели, в разных компаниях, могли быть построены с более сильным обучением выравниванию с самого начала.