Один слой — и задача решена: Apple Research нашла умный способ обучить ИИ генерировать изображения
Новая техника от Apple ML Research позволяет ИИ, генерирующему изображения, заимствовать знания из отдельной модели визуального понимания, используя всего один адаптированный слой. Результат: более четкие и точные изображения без обычных компромиссов.
Ключевые моменты
- Apple ML Research опубликовала результаты, показывающие, что адаптация всего одного слоя предварительно обученного визуального кодировщика достаточна для улучшения качества генерации изображений ИИ.
- Исследование нацелено на модели диффузии — технологию, лежащую в основе популярных генераторов изображений типа Stable Diffusion и Midjourney, которые создают изображения путем постепенного уточнения визуального шума.
- Основная проблема, которую решает статья, — несоответствие между тем, как ИИ «понимает» изображения и как он их «создает» — две задачи, тянущие в противоположные стороны.
- Эта техника может помочь будущим генераторам изображений создавать картинки, которые одновременно более детальны и точнее соответствуют текстовому описанию, без необходимости переобучать всю модель с нуля.
Когда вы вводите описание в генератор изображений ИИ и смотрите, как появляется картинка, работают два совершенно разных вида искусственного интеллекта. Один учится понимать изображения: определять объекты, читать сцены, постигать смысл. Другой учится создавать изображения: рисовать пиксели, которые выглядят убедительно и соответствуют вашим словам. Исследователи давно хотели объединить оба навыка в одной системе. Проблема в том, что они построены принципиально по-разному.
Apple ML Research теперь опубликовала исследование, впервые представленное через собственные научные каналы, показывающее, что разрыв можно преодолеть с помощью удивительно небольшого изменения.
Ключевое озарение связано с так называемым VAE, то есть вариационным автокодировщиком. Думайте о VAE как о механизме сжатия внутри генератора изображений. Он сжимает полное изображение в компактное математическое резюме, генератор проделывает свою работу в этом меньшем пространстве, а затем VAE расширяет все обратно в видимое изображение. Проблема в том, что компактные резюме, идеальные для генерации изображений, не совпадают с богатыми, детальными представлениями, идеальными для их понимания.
Предыдущие попытки решить эту проблему требовали переобучения больших частей модели, что дорого и часто все ломало. Команда Apple обнаружила, что они могут вместо этого взять мощный предварительно обученный визуальный кодировщик, сеть, уже опытную в понимании изображений, и адаптировать всего один его слой, чтобы он говорил на языке генератора. Один слой. Вот и все.
Адаптированный кодировщик передает более богатую визуальную информацию в процесс генерации без противодействия ему. По словам исследователей, результат — изображения, которые более четкие и верны оригинальному описанию, с меньшим размытием или отсутствием деталей, которые мучают текущие системы.
Для обычных пользователей практическое преимущество простое. Лучшие генераторы изображений, построенные на основе этого подхода, потребуют меньше экспериментов с подсказками для создания того, что вам действительно нужно. Предприятия, использующие инструменты ИИ для генерации изображений в маркетинге, дизайне или визуализации продуктов, могут увидеть меньше бесполезных результатов.
Исследование также важно, потому что оно эффективно. Вместо требования огромных новых вычислительных ресурсов оно показывает, что тщательные, целевые изменения в существующих моделях могут дать реальный результат. Это значимое направление для области, которая часто по умолчанию полагается на "сделать это больше" как на ответ на каждую проблему.
Что это означает для людей, использующих сегодня инструменты ИИ для генерации изображений?
Ничего не меняется немедленно. Это опубликованное исследование, а не обновление продукта. Но подобные методы обычно внедряются в коммерческие инструменты в течение нескольких месяцев или года-двух после публикации, когда разработчики интегрируют результаты в свои системы. Если вы сейчас используете генераторы изображений ИИ, практический совет прост: следите за обновлениями версий от вашего предпочтительного инструмента, поскольку улучшения качества вывода часто восходят именно к такому фундаментальному исследованию.
Авторство результатов принадлежит команде Apple ML Research, стоящей за этой статьей.
