Generowanie obrazów opartych na stylu: kontrola GANów na każdym poziomie

Problem z wprowadzaniem szumu bezpośrednio

Klasyczne generatorzy GAN korzystają z pojedynczego losowego wektora ukrytego i przekazują go bezpośrednio do pierwszej warstwy sieci konwolucyjnej, pozwalając na propagację dalej do produkcji pełnego obrazu. To wymusza jedno skomplikowane kodowanie do jednocześnie wyznaczania ciekawego struktury i detalu miękkiego, co oznacza, że niewielkie zmiany w wektorze ukrytym często przyciągają niezwiązane cechy. Wynikiem jest generator, który jest potężny, ale trudny do sterowania: nie ma prostej metody, aby powiedzieć 'pomiń pozę, zmień kolor włosów'. Ta skomplikowana zależność była głównym problemem użyteczności, który architektura oparta na stylu postawiła sobie za cel poprawy.

Mapowanie latensów na przestrzeń stylu

Generator oparty na stylu, wprowadzony przez Karras, Laine i Aila, najpierw przepuszcza losowy wektor latensu przez oddzielny sieć wielopoziomową mapującą, która go transformuje w intermedialny wektor stylu, rozdzielinany od pierwotnego rozkładu próbek. Zamiast wprowadzać ten styl do sieci tylko raz, jest on dodawany na każdym poziomie rozdzielczości sieci syntetyzującej obrazów za pomocą normalizacji instancji dostosowanej (AdaIN), która skaluje i przesuwa mapy cech każdego warstwy w oparciu o styl. Ponieważ sieć zaczyna od uczonego stałą, a nie samego wektora latensu, wszystkie informacje obrazowe przechodzą przez te powtarzające się wprowadzenia stylu. Warstwy niskiej rozdzielczości końcowo rządzą ogólnymi cechami jak pozy i ogólną kształt twarzy, podczas gdy warstwy wysokiej rozdzielczości rządzą szczegółami finałnymi jak tekstura skóry i kolorowanie.

Odseparowane kontrolowanie i mieszanie stylu

Wprowadzanie stylu oddzielnie na każdym poziomie oznacza, że różne warstwy mogą być w teorii sterowane przez różne wektory stylu bez ruination obrazu, technika nazywana mieszaniem stylu. Przez wprowadzenie stylu jednego kodu ukrytego do warstw szerszych i drugiego kodu ukrytego do warstw mniej szczegółowych, generatory tworzą obraz, który kombinuje posture i strukturę źródła pierwszego z kolorem i teksturą źródła drugiego. Ta warstwowego mieszanka była również używana podczas treningu jako regulator, powstrzymujący sieć od założenia, że styl warstw sąsiednich jest zawsze korelowany. Praktyczne korzyści wynikają z generatora, którego cechy są znacznie bardziej interpretowalne i niezależnie dostosowywalne niż w wcześniejszych architekturach.

Od zainteresowania naukowego do kulturowego fenomenu

Ta architektura stała się sławna dzięki wiralnym demonstracjom twarzy ludzkich o niezwykle realistycznym wyglądzie, które popularizowały strony internetowe pokazujące nowe, nieistniejące twarze na każdym odświeżeniu. To zapewniło GANom opartym na stylu pozycję jako punkt referencyjny w modelowaniu generacyjnym. Jej warstwowy mechanizm kontroli wpłynął również na narzędzia do edytowania obrazów, tworzenia avatarów i rozszerzania danych poza twarze. Przez to podejście ma rzeczywiste ograniczenia: wiernie powtarza białości obecne w swoich danych treningowych, takie jak nieprawidłowe przedstawienie skórzanych tonów, wieku i tła. Trening tych sieci na wysokiej rozdzielczości wymaga ogromnej mocy obliczeniowej. Taka photorealizm, która stała się sławnym celem, również wywołała poważne etyczne obawy dotyczące deepfakes i nielegalnego użytkowania tożsamości syntetycznych, co prowadzi do kontynuacji badań nad detekcją i odpowiedzialnym zastosowaniem.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Style-Based Image Generation: Controlling GANs at Every Layer i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.