Przepływy Normalizujące: Dokładne Modelowanie Densji za pomocą Odwrotnych Transformacji

Brakujące Elementy: Dlaczego GANs i VAEs Nie Mogą Ci Powiedzieć Likelihood

Zadaniem modelu generacyjnego jest nauka rozkładu prawdopodobieństwa p(x) nad danymi, czy to obrazów, molekyli, czy sygnałów dźwiękowych. GANs uczą się tego implicitnie: sieć generatora mapuje szum losowy na próby, a dyskriminator napędza te próby do wyglądania na prawdziwe, ale nigdzie w tym procesie model nie liczy liczby p(x). VAEs zbliżają się bardziej definiując probabilistycznego dekodera, ale ponieważ mapowanie z zmiennej ukrytej z do danych x jest typowo wielokrotne i nieodwracalne, prawdziwy likelihood wymaga integracji nad każdą możliwą z, która mogłaby wygenerować x — całka niewyliczalna. VAEs unikają tego ustawiając dolną granicę, ELBO, która przybliża log p(x) zamiast obliczać ją dokładnie. Flows normalizacyjne biorą zupełnie inny podkład: twierdzą, że mapowanie między przestrzenią ukrytą a przestrzenią danych musi być bijekcją, funkcją jedno- do-miejską i odwracalną. Tylko ta pojedyncza restrykcja projektowa umożliwia dokładne, wyliczalne prawdopodobieństwo bez potrzeby granic lub przybliżeń.

Invertible i Diferencjowalne: Dwie Niepodzielne Wymagania

Fluks jest budowany z transformacji f, która mapuje zmienną ukrytą z, wybraną z prostego podstawowego rozkładu, na punkt danych x = f(z). Aby działać jako model generacyjny z dokładnymi prawdopodobieństwami, f musi spełniać dwa wymagania. Pierwsze to jest odwracalne: dla każdego danego x istnieje jednoznaczne z = f⁻¹(x), które go wygenerowało, a żadne różne wartości z nigdy nie mapują się na taki sam x. Drugie to zarówno f, jak i jej odwrotność muszą być różniczkowalne, aby można było mierniczo ocenić lokalny rozciąganie lub skrócenie przestrzeni w każdym punkcie. Te dwie właściwości oznaczają, że fluks nigdy nie zniszcza informacji — zawsze można odwrócić transformację i dokładnie odzyskać kod ukryty wygenerowany dla danego próbkowania, co pozwala nam precyzyjnie rozumieć, jak masa prawdopodobieństwa przemieszcza się między dwiema przestrzeniami.

Formuła zmian zmiennych i poprawka Jacobiego

Jeśli znasz gęstość p_Z(z) zmiennej ukrytej, a przekształcasz ją za pomocą odwracalnej mapy x = f(z), gęstość wynikowego rozkładu nad x nie jest prostym ocenianiem p_Z dla odpowiedniego z — musisz również uwzględnić, ile transformacja lokalnie rozszerza lub kompresuje objętość wokół tego punktu. To jest formuła zmian zmiennych: p_X(x) = p_Z(f^-1(x)) · |det(∂f^-1/∂x)|. Term |det(∂f^-1/∂x)| to wartość bezwzględna wyznacznika macierzy Jacobiego odwrotnego przekształcenia, a działa jako poprawka do objętości. Jeśli funkcja f rozszerza małą okolicę z, masa prawdopodobieństwa rozpraszona jest po większej dziedzinie w przestrzeni x, więc gęstość tam musi spadać, a wyznacznik Jacobiego uwzględnia dokładnie to rozszerzenie lub kompresję. W praktyce trening odbywa się w logarytmicznym przestrzeniu dla stabilności numerycznej, co daje równoważny kształt: log p_X(x) = log p_Z(z) - log|det(∂f/∂z)|, gdzie z = f^-1(x). Ten logarytm prawdopodobieństwa jest dokładny — nic nie jest ograniczone ani przybliżone — i to dokładnie wielkość, którą maksymizujemy podczas treningu za pomocą metody spadku gradientu.

Zapewnienie Dostępnego Jacobianu: Warstwy Kupowanie i Struktura Trójkątna

Obliczenie wyznacznika generalnego macierzy Jacobian n×n kosztuje O(n^3) operacji, co jest niepraktyczne dla danych o wielowymiarowej strukturze, takich jak obrazy z tysiącami pikseli. Architektury przepływu unikają tego problemu za pomocą ciekawego triku: zaprojektowanie każdej warstwy tak, aby jej macierz Jacobian była trójkątna, ponieważ wyznacznik macierzy trójkątnej to tylko iloczyn jej elementów na przekątnej, co jest obliczeniem O(n). Klasyczny mechanizm dla tego celu to warstwa kupowanie, używana w modelach takich jak RealNVP i Glow. Ta warstwa dzieli wektor na dwie półcześći x1 i x2, pozostawiając x1 niezmieniony, a transformując x2 za pomocą funkcji, której parametry (np. skala i przesunięcie) są obliczane tylko z x1: y2 = x2 · exp(s(x1)) + t(x1), y1 = x1. Ponieważ y1 zależy tylko od x1, a zależność y2 od x1 jest całkowicie zawarta w s i t, zaś zależność od x2 to proste mapowanie elementowe liniowe, wynikająca macierz Jacobian jest trójkątna, z przekątną składającą się z 1 (z y1) i wyrazów exp(s(x1)) (z y2). To zapewnia zarówno łatwe odwracanie każdej warstwy, jak i małą kosztowność różniczkowania, nawet jeśli s i t mogą być niemalże dowolnie skomplikowanymi sieciami neuronowymi.

Lokalizacja warstw i zastosowanie przepływów

Jedna warstwa sprzężeniowa jest stosunkowo słaba transformacja — pozostawia połowę swojego wejścia całkowicie niewzmocnonym. Przynajmniej taką jest prawdziwa potęga przepływów normalizujących: łączenie wielu tych warstw w szereg, zazwyczaj alternując, która połowa zmiennych jest zmieniana, aby każda wymiarowość ostatecznie została aktualizowana. Ponieważ składanie się funkcji odwracalnych i różniczkowalnych jest samodzielnie odwracalne i różniczkowalne, a log-determinanta Jacobianu skompozytowego wynosi sumę log-determinantów każdej warstwy (log|det(∂f/∂z)| = Σ_k log|det(∂f_k/∂z_k)|), można stosować dziesiątki prostych i ekonomicznych warstw, zachowując jednocześnie dokładne prawdopodobieństwa i pełną odwracalność, podczas gdy ogólna transformacja stała się dostatecznie elastyczna do modelowania bardzo skomplikowanych, wielomodalnych rozkładów danych. Ta kombinacja dokładnej oceny gęstości i dokładnego wygenerowania pozwala przepływom być wartościowym narzędziem w zadaniach, w których naprawdę potrzebujesz prawdopodobieństwa, takich jak detekcja anomalii i wykrywanie danych poza zakresem, estymacja gęstości naukowa, oraz jako elementy budowlane w inferencji wariacyjnej, obok ich roli jako samodzielne modele generatywne dla obrazów i dźwięku.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Normalizing Flows: Exact Density Modeling via Invertible Transforms i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.