Генерація зображень на основі стилю: Контроль GANів на кожному рівні

Проблема з передачею шуму безпосередньо

Класичні GAN генератори приймають один випадковий латентний вектор і подають його безпосередньо в перший шар згорткової мережі, дозволяючи йому поширюватися вперед для створення всієї зображення. Це змушує одну заплутану кодову інформацію одночасно визначати грубу структуру та тонку текстуру, тому коригування латентного вектора для зміни однієї ознаки часто тягне за собою не пов’язані з цим ознаки. Результатом є генератор, який потужний, але важко керувати: немає чистого способу сказати «зберегти позу, просто змінити колір волосся». Ця заплутаність була центральною проблемою зручності використання, яку вирішував архітектурний стиль.

Визначення та відображення латентного простору

Метод, запропонований Ка́ррас, Ленте та Аїла, спочатку передає випадковий латентний вектор через окрему багатошарову мережу відображення, яка трансформує його в проміжний стильний вектор, відокремлений від початкового розподілу вибірок. Замість того, щоб подавати цей стиль у мережу лише один раз, він вводиться на кожному рівні синтезу зображень за допомогою адаптивної нормалізації інстанції (AdaIN), яка масштабує та зсуває карти ознак кожного шару відповідно до стилю. Оскільки мережа починається з вивченої константи замість латентного коду, вся інформація про зображення проходить через ці повторні впровадження стилю. Низькорозрядні шари керують грубими атрибутами, такими як поза та загальна форма обличчя, тоді як високорозрядні шари керують тонкими деталями, такими як текстура шкіри та забарвлення.

Розділена Контроль та Змішування Стилів

Впровадження стилю окремо на кожному рівні означає, що різні рівні можуть, в принципі, бути керовані різними векторами стилю без порушення зображення, це називається змішуванням стилів. Подаючи стиль першого латентного коду в грубі рівні та стиль другого латентного коду у тонкі рівні, генератор створює зображення, яке поєднує структуру та форму першоджерела з фарбуванням та текстурою другого джерела. Це змішування шарами також використовувалося під час навчання як регуляризатор, щоб запобігти мережі припускати, що стилі сусідніх рівнів завжди корельовані. Практична вигода полягає в тому, що атрибути генератора значно більш інтерпретовані та незалежно налаштовуються, ніж раніше архітектури дозволяли.

Від наукової цікавості до культурного феномену

Ця архітектура стала відомою завдяки вірусним демонстраціям неймовірно реалістичних синтетичних людських облич, які популяризували сайти, що показували нове, неіснуюче обличчя при кожному перезавантаженні, та закріпили стиль-орієнтовані GAN як знакову подію в генеративному моделюванні. Її багатошарова підтримка також вплинула на інструменти для редагування зображень, створення аватарів і збільшення обсягу даних за межами облич. Однак цей підхід має реальні обмеження: він вірну відтворює упередження, присутні в його навчальних даних, такі як спотворене представлення за кольором шкіри, віком та фоном, а навчання цих мереж з високою роздільною здатністю вимагає значних обчислювальних потужностей. Той самий фотореалізм, який зробив її відомою, також підняв серйозні етичні питання щодо використання глибоких фальшивок і синтетичної ідентичності, що призвело до тривалих досліджень у сфері виявлення та відповідального впровадження.

Frequently asked questions

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Style-Based Image Generation: Controlling GANs at Every Layer і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.