Один шар справляється з роботою: Apple Research знайшла розумніший способ навчати AI генерувати зображення
Новий метод від Apple ML Research дозволяє AI, що генерує зображення, запозичувати знання від окремої моделі розуміння візуалізації, використовуючи лише один адаптований шар. Результат: різкіші та точніші зображення без звичайних компромісів.
Ключові моменти
- Apple ML Research опублікувала дослідження, яке показує, що адаптація лише одного шару попередньо навченого візуального енкодера достатня для покращення якості генерування зображень AI.
- Дослідження спрямоване на дифузійні моделі — технологію, що стоїть за популярними генераторами зображень на кшталт Stable Diffusion та Midjourney, які створюють зображення шляхом поступального уточнення візуального шуму.
- Основна проблема, яку вирішує стаття, — це невідповідність між тим, як AI «розуміє» зображення, та як їх «створює», два завдання, які тягнуть у протилежних напрямках.
- Цей метод може допомогти майбутнім генераторам зображень створювати зображення, які одночасно більш деталізовані та точніше відповідають текстовому запиту, без необхідності переучувати всю модель з нуля.
Коли ви вводите опис в генератор зображень AI і спостерігаєте, як з'являється зображення, одночасно працюють два дуже різні види штучного інтелекту. Один вид вчиться розуміти зображення: визначати предмети, читати сцени, розуміти значення. Інший вид вчиться створювати зображення: малювати пікселі, які виглядають правдоподібно та відповідають вашим словам. Дослідники давно хотіли поєднати обидві навички в одній системі. Проблема в тому, що вони побудовані принципово по-різному.
Apple ML Research тепер опублікувала дослідження, вперше представлене через її власні дослідницькі канали, яке показує, що розрив можна подолати дивовижно малою зміною.
Ключова ідея стосується так званого VAE, скорочення від варіаційного автоенкодера. Думайте про VAE як про механізм стиснення всередині генератора зображень. Він стискає повне зображення в компактне математичне резюме, генератор працює в цьому менш просторому пространстві, а потім VAE розширює все назад в видиме зображення. Проблема в тому, що компактні резюме, ідеальні для генерування зображень, не те саме, що насичені, детальні представлення, ідеальні для їх розуміння.
Попередні спроби виправити це потребували переучування великих частин моделі, що було дорого і часто щось ламало. Команда Apple виявила, що замість цього вони можуть взяти потужний попередньо навчений візуальний енкодер, мережу, яка вже експертна в розумінні зображень, і адаптувати лише один його шар, щоб спілкуватися мовою генератора. Один шар. І це все.
Скоригований енкодер передає багатшу візуальну інформацію процесу генерування без протидії йому. Результат, згідно з дослідниками, — це зображення, які є різкішими та більше відповідають оригінальному запиту, з меншою кількістю розмитості або втраченої деталізації, що переслідує поточні системи.
Для звичайних користувачів практичне переваження прямолінійне. Кращі генератори зображень, побудовані на основі цього підходу, потребували б менше спроб та помилок при складанні запиту для створення того, що ви насправді хочете. Компанії, які використовують інструменти AI для генерування зображень у маркетингу, дизайні або візуалізації продуктів, могли б побачити менше непридатних результатів.
Дослідження також важливе, оскільки воно є ефективним. Замість вимогання величезних нових обчислювальних ресурсів, воно показує, що обережні, цілеспрямовані зміни до існуючих моделей можуть дати реальні результати. Це значущий напрямок для галузі, яка часто вважає «зробити це більшим» відповіддю на будь-яку проблему.
Що це означає для людей, які використовують інструменти AI для генерування зображень сьогодні?
Негайно нічого не змінюється. Це опубліковане дослідження, а не оновлення продукту. Але методи на кшталт цього зазвичай потрапляють у комерційні інструменти протягом кількох місяців до року чи двох після публікації, оскільки розробники інтегрують висновки в свої системи. Якщо ви зараз використовуєте генератори зображень AI, практична рекомендація проста: стежте за оновленнями версій від вашого улюбленого інструменту, оскільки покращення якості результатів часто походять від саме цього роду фундаментальних досліджень.
Заслуга за висновки належить команді Apple ML Research, яка стояла за статтею.
