CycleGAN: Перетворення зображень без зіставлених пар

Проблема: Зв’язні дані є рідкісними

Більшість ранніх систем перетворення зображень з використанням зображень (image-to-image translation) покладалися на зв’язні навчальні дані — для кожного вхідного зображення потрібно було мати відповідне вихідне зображення, що показує точно ту ж сцену у цільовому стилі. Це добре працює для завдань, таких як кольорозаливлення конкретного набору фотографій, де обидві версії існують, але руйнується при виконанні завдань, таких як «перетворити фотографію на картину Моне» або «перетворити коня на зебру». У нас немає фотографії точної зебри, яка б з’явилася, якщо б певний кінь був перефарбований, і Моне ніколи не малював точний вид, зафіксований сучасною камерою. Ця рідкість зв’язних прикладів робила величезний спектр творчих та практичних завдань перетворення недоступними для методів під керівництвом (supervised methods).

Налаштування CycleGAN: Два Генератори, Два Дискримінатори

CycleGAN обходить проблему з необхідністю парних наборів даних шляхом навчання на двох повністю незв’язаних колекціях зображень – одній з домену A (наприклад, фотографій) та іншій з домену B (наприклад, картин Моне). Він використовує два генератори: один перетворює A в B, а інший - B назад у A. Кожен генератор супроводжується дискримінатором, який намагається відрізнити справжні зображення цього домену від підроблених виходів генератора, змушуючи обидва генератори виробляти переконливо реалістичні результати. Оскільки два домени ніколи не порівнюються один з одним у процесі навчання, модель бачить лише колекції, а не відповідні приклади.

Ключовий трюк: Збереження циклічної узгодженості

Реалізм сам по собі недостатньо — генератор міг би створити переконливе, але повністю непов’язане зображення в цільовій області та все ще обдурити дискримінатор. Центральним нововведенням CycleGAN є втрата збереження циклічної узгодженості: якщо перекласти зображення з A в B і потім повернути це результату назад з B в A за допомогою другого генератора, ви повинні отримати щось дуже схоже на оригінальне зображення. Застосування цього «кругового» відновлення обмежує генератори у збереженні базового вмісту та структури вхідного зображення, змінюючи лише стиль або зовнішній вигляд, необхідний для відповідності цільовій області. Цей простий обмежений фактор і є тим, що дозволяє навчатися з непарних даних.

Практичне застосування та обмеження

CycleGAN набув широкої популярності завдяки демонстраціям, таким як перетворення коней на зебр або фотографій у стилі художників, таких як Моне, Ван Гог і Сезанн, а також має практичне застосування в адаптації доменів, зокрема генерує синтетичні навчальні дані, що імітують цільовий сенсор або середовище. Однак, він має реальні обмеження: надійно обробляє зміни стилю на рівні текстури та кольору, але має труднощі з великими геометрічними трансформаціями, оскільки циклічна узгодженість в основному винагороджує збереження загальної структури. Він також іноді може генерувати артефакти, не пов'язані з фактичним вмістом сцени, які іноді описуються як «галюцинації», коли модель уявляє деталі, яких насправді не було.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте CycleGAN: Translating Images Without Matched Pairs і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.