Як насправді працюють генератори зображень на основі ШІ? Посібник простою мовою
Від надрукованих слів до готового твору за кілька секунд: ось що насправді відбувається всередині машини.
Генератори зображень на основі ШІ перетворюють ваш текстовий опис на картину, навчаючись на прикладах мільйонів існуючих зображень, а потім використовуючи ці закономірності для створення нового зображення з нуля. Весь процес займає кілька секунд. Жоден людський художник не залучається до цього.
Що насправді вивчає ШІ, перш ніж ви щось напишете?
Перш ніж ви побачите будь-який результат, модель вже протягом тижнів вивчала сотні мільйонів пар зображень і підписів. Вона навчається, які зорові форми прагнуть йти з якими словами, так само як дитина вчиться, що слово «яблуко» відповідає круглому червоному об'єкту.
Ця фаза навчання — дорога і трудомістка частина. Дослідження DALL-E від OpenAI і робота Imagen від Google DeepMind обидва спираються на такого роду навчання у великому масштабі. Наприкінці модель утримує стиснену математичну карту того, як концепції та пікселі співвідносяться один з одним.
Що таке «дифузія» і чому всі про неї говорять?
Дифузія — це основний прийом, який використовує більшість сучасних генераторів зображень. Модель навчається шляхом взяття реальних зображень, повільного занурення їх у випадковий шум (як статика на старому телевізорі), а потім навчання до реверсування цього процесу та відновлення оригіналу.
Коли вона може надійно видалити розмиття шуму, ви можете запустити процес у зворотному напрямку: почніть із чистого випадкового шуму, дайте моделі текстовий запит як орієнтир, і дозвольте їй «ліпити» чисте зображення з хаосу. Дослідники на arxiv формально описують це як імовірнісну модель дифузії зі зменшенням шуму. На кожному кроці видаляється трохи шуму, спрямовуючись вашими словами, поки не з'явиться зв'язна картина.
Як модель пов'язує слова з картинками?
Текст і зображення розмовляють різними мовами, тому генератору потрібен перекладач. Більшість систем використовують компонент під назвою текстовий кодер, який перетворює ваш запит у список чисел (називається вектором), який захоплює значення. Модель CLIP від OpenAI — один із широко використовуваних кодерів: вона була навчена на парах зображення-підпис до тих пір, поки вектори зображень і текстові вектори для однієї концепції не опинилися близько один до одного в математичному просторі.
Модель дифузії потім використовує цей вектор як компас на кожному кроці видалення шуму, спрямовуючи формуюче зображення до вашого опису.
Що відбувається в той момент, коли ви натискаєте «Generate»?
Чотири речі відбуваються в швидкій послідовності. По-перше, ваш запит кодується у вектор. По-друге, створюється поле випадкового шуму як порожній полотно. По-третє, модель дифузії запускає будь-де від 20 до 50 кроків видалення шуму, кожен з яких робить зображення трохи чіткішим і точнішим. По-четверте, остаточний компонент, названий декодером, масштабує зображення до повної роздільної здатності.
Вся послідовність зазвичай займає одну-десять секунд на сучасному графічному чипі.
| Етап | Що це робить | Простої аналогія |
|---|---|---|
| Кодування тексту | Перетворює слова в числа | Переведення рецепту в кількості |
| Полотно шуму | Створює випадкові стартові пікселі | Порожнє полотно телевізійної статики |
| Кроки видалення шуму | Поступово ліпить зображення | Скульптор видаляє глину, а не додає |
| Спрямування | Ваш запит спрямовує кожен крок | GPS оновляється на кожному перехресті |
| Декодування | Масштабує до повної роздільної здатності | Друк мініатюри розміром з постер |
Реальний приклад: планування ремонту кухні
Домовласниця вводить «яскрава скандинавська кухня, дубові шафи, ранкове світло» в інструмент на кшталт Adobe Firefly. За близько три секунди вона отримує чотири фотореалістичні варіанти, які можна показати своєму підрядчику, пропустивши вартість дизайнера mood-board. Зображення раніше не існувало; модель зібрала його з закономірностей, вивчених на мільйонах фото кухні.
Скільки це коштує, і чи є безплатний рівень?
Ціни різняться значно. Багато інструментів пропонують безплатний стартовий допуск: Adobe Firefly комплектується кредитами Creative Cloud і пропонує безплатну веб-версію з водяними знаками на виходах. План входу Midjourney коштує близько 10 доларів на місяць. DALL-E доступний безплатно в безплатному рівні ChatGPT з обмеженням щоденного використання. Моделі з відкритим кодом, такі як Stable Diffusion, можна запускати локально безплатно, хоча вам потрібна досить потужна графічна карта.
Які є підводні камені конфіденційності?
Прочитайте умови перед тим, як вводити щось чутливе. Кілька комерційних сервісів у своїх умовах зазначають, що запити та згенеровані зображення можуть бути використані для покращення моделі, що означає, що ваші дані можуть розглядатися персоналом або повторно використовуватися в навчальні дані. Локальний запуск моделі з відкритим кодом повністю уникає цього, оскільки нічого не залишає вашу машину. Якщо ви генеруєте зображення для клієнта або включаєте впізнаванні обличчя або активи бренду, перевірте політику комерційного використання платформи перед публікацією.
Поширені запитання
Чи копіює ШІ роботу існуючих художників?
Не напряму. Модель зберігає статистичні закономірності, а не копії зображень. Однак, оскільки він навчався на захищеній авторським правом роботі без явної згоди художника, це активні юридичні дебати, і NIST's AI Risk Management Framework позначає походження навчальних даних як ключове питання прозорості.
Чи я можу мати авторські права на згенероване ШІ зображення?
У більшості країн закон про авторське право вимагає людського автора, тому повністю згенероване ШІ зображення без людського творчого внеску може не мати захисту. Правила відрізняються залежно від юрисдикції і все ще перевіряються в судах, тому перевірте місцеві вказівки перед комерційним використанням згенерованих зображень.
Чому ШІ зображення іноді невірно зображують руки?
Руки статистично складні: пальці варіюються за кількістю, кутом і перекриттям способами, які важко узагальнити лише на основі навчальних даних. Модель вивчала руки менш послідовно, ніж, скажімо, обличчя, які з'являються в більш передбачуваній фронтальній орієнтації на мільйонах фото.
