Как на самом деле работают генераторы изображений на основе ИИ? Руководство на доступном языке
От набранных слов к готовому изображению за несколько секунд: вот что происходит внутри машины.
Генераторы изображений с ИИ преобразуют ваше текстовое описание в картину, изучая закономерности из миллионов существующих изображений, а затем используя эти закономерности для создания нового с нуля. Весь процесс занимает несколько секунд. Ни один человеческий художник в этом не участвует.
Что на самом деле изучает ИИ до того, как вы что-то напечатаете?
Прежде чем вы увидите хотя бы один результат, модель уже потратила недели на изучение сотен миллионов пар изображение-подпись. Она учится, какие визуальные формы обычно соответствуют тем или иным словам, так же как ребёнок узнаёт, что слово «яблоко» обозначает круглый красный предмет.
Этап обучения — это дорогостоящий и отнимающий много времени процесс. Исследования DALL-E от OpenAI и работа Imagen от Google DeepMind полагаются на такое крупномасштабное визуальное обучение. В результате модель содержит сжатую математическую карту того, как концепции и пиксели связаны друг с другом.
Что такое «диффузия» и почему все об этом говорят?
Диффузия — это основной приём, который используют большинство современных генераторов изображений. Модель обучается путём взятия реальных изображений, медленного их погребения под случайным шумом (представьте статику на старом телевизоре), а затем обучения обратному процессу и восстановлению оригинала.
Как только модель научится надёжно избавляться от размытости шума, вы можете запустить процесс в обратном направлении: начните с чистого случайного шума, дайте модели текстовый запрос в качестве ориентира и позвольте ей «высечь» чистое изображение из хаоса. Исследователи на arxiv описывают это формально как вероятностную модель диффузии с удалением шума. Каждый шаг удаляет немного шума, направляемый вашими словами, до тех пор пока не появится цельная картина.
Как модель связывает слова с изображениями?
Текст и изображения говорят на разных языках, поэтому генератору нужен переводчик. Большинство систем используют компонент, называемый кодировщиком текста, который преобразует ваш запрос в список чисел (называемый вектором), который захватывает смысл. Модель CLIP от OpenAI — это один из широко используемых кодировщиков: она была обучена на парах изображение-подпись до тех пор, пока векторы изображений и текстовые векторы для одной и той же концепции не оказались рядом в математическом пространстве.
Модель диффузии затем использует этот вектор в качестве компаса на каждом шаге удаления шума, направляя возникающее изображение к вашему описанию.
Что происходит в момент нажатия кнопки «Создать»?
Четыре вещи происходят в быстрой последовательности. Во-первых, ваш запрос кодируется в вектор. Во-вторых, создаётся поле случайного шума в качестве пустого холста. В-третьих, модель диффузии выполняет от 20 до 50 шагов удаления шума, каждый из которых делает изображение немного чётче и более соответствующим теме. В-четвёртых, финальный компонент, называемый декодером, увеличивает изображение до полного разрешения.
Вся последовательность обычно занимает от одной до десяти секунд на современном графическом чипе.
| Этап | Что он делает | Простая аналогия |
|---|---|---|
| Кодирование текста | Превращает слова в числа | Перевод рецепта в количества |
| Холст из шума | Создаёт случайные начальные пиксели | Пустой холст телевизионной статики |
| Шаги удаления шума | Постепенно высекает изображение | Скульптор удаляет глину, не добавляя её |
| Руководство | Ваш запрос направляет каждый шаг | GPS обновляется на каждом перекрёстке |
| Декодирование | Увеличивает до полного разрешения | Печать миниатюры в размер плаката |
Реальный пример: планирование ремонта кухни
Домовладелица вводит в инструмент типа Adobe Firefly фразу «яркая скандинавская кухня, дубовые шкафы, утренний свет». Примерно через три секунды она получает четыре фотореалистичных варианта для показа своему подрядчику, избежав затрат на услуги дизайнера по созданию мудбордов. Это изображение никогда раньше не существовало; модель собрала его из закономерностей, выученных из миллионов фотографий кухонь.
Сколько это стоит и есть ли бесплатный вариант?
Цены варьируются широко. Многие инструменты предлагают бесплатный начальный лимит: Adobe Firefly поставляется с кредитами в Creative Cloud и предлагает бесплатную веб-версию с водяными знаками на выходе. Начальный план Midjourney стоит около 10 долларов в месяц. DALL-E доступен бесплатно внутри бесплатного уровня ChatGPT с дневным лимитом использования. Модели с открытым исходным кодом, такие как Stable Diffusion, можно запускать локально бесплатно, хотя вам понадобится достаточно мощная видеокарта.
Какие подводные камни конфиденциальности?
Прочитайте условия перед тем, как вводить что-то чувствительное. Несколько коммерческих сервисов указывают в своих условиях, что запросы и создаваемые изображения могут быть использованы для улучшения модели, что означает, что ваши данные могут быть проверены сотрудниками или введены обратно в данные обучения. Запуск модели с открытым исходным кодом локально полностью избегает этого, потому что ничего не покидает вашу машину. Если вы создаёте изображения для клиента или включаете узнаваемые лица или активы брендов, проверьте политику коммерческого использования платформы перед публикацией.
Часто задаваемые вопросы
Копирует ли ИИ работы существующих художников?
Нет, не напрямую. Модель хранит статистические закономерности, а не копии изображений. Однако, поскольку она обучалась на защищённых авторским правом материалах без явного согласия художников, это активный предмет юридических дебатов, и Структура управления рисками ИИ NIST отмечает происхождение данных обучения как ключевой вопрос прозрачности.
Могу ли я владеть авторским правом на изображение, созданное ИИ?
В большинстве стран закон об авторском праве требует наличия человеческого автора, поэтому полностью созданное ИИ изображение без человеческого творческого вклада может не получить защиту. Правила различаются по юрисдикциям и всё ещё проверяются в судах, поэтому перед использованием создаваемых изображений в коммерческих целях проверьте местное руководство.
Почему ИИ-изображения иногда неправильно изображают руки?
Руки статистически сложны: пальцы различаются по количеству, углу и перекрытию способами, которые сложно обобщить на основе одних только данных обучения. Модель научилась рукам менее последовательно, чем, скажем, лицам, которые появляются в более предсказуемой анфасной ориентации на миллионах фотографий.
