Normalizacja Partii: Zapanowanie nad Wewnętrznym Przesunięciem Współczynnika

Problem: Zmieniający się cel

W głębokiej sieci neuronowej, każda warstwa aktualizuje swoje wagi jednocześnie podczas treningu, co oznacza, że dystrybucja danych wejściowych wpływających na daną warstwę ciągle się zmienia z kroku na krok. Zjawisko to, które pierwotni autorzy nazwali wewnętrzną zmianą współczynników (internal covariate shift), zmusza każdą warstwę do ciągłego dostosowywania się do przesuwanego dystrybuowania danych wejściowych zamiast po prostu uczyć się swojej roli. Konsekwencją jest to, że trening głębokich sieci wymaga bardzo małych, starannie dobranych współczynników uczenia i delikatnej inicjalizacji wag, w przeciwnym razie gradienty mogą eksplodować, zanikać lub cały proces może po prostu zawieść. Głębsze sieci cierpią bardziej, ponieważ przesunięcia w wczesnych warstwach kumulują się i wzmacniają, rozprzestrzeniając się do dalszych warstw.

Jak działa Batch Normalization

Dla każdej mini-partii podczas treningu, batch normalization pobiera aktywacje warstwy i normalizuje je tak, aby miały średnią równą zero i jednostkową wariancję, obliczoną na podstawie przykładów w tej partii. Ponieważ wymuszanie na każdej aktywacji przestrzegania ścisłej dystrybucji mogłoby ograniczyć to, co sieć może reprezentować, batch normalization następnie stosuje nauczone parametry skalowania (gamma) i przesunięcia (beta) dla każdego kanału, pozwalając sieci na odzyskanie oryginalnej dystrybucji, jeśli okaże się to optymalne. Te dwa dodatkowe, uczące się parametry sprawiają, że technika jest prawdziwą częścią modelu, a nie tylko stałym krokiem wstępnym. Podczas wnioskowania (inference) używane są średnie i wariancje zebrane podczas treningu, zamiast statystyk na partię, ponieważ pojedynczy przykład testowy nie ma partii do normalizacji.

Dlaczego Działa Tak Dobrze

Dzięki utrzymywaniu stabilnych i dobrze zdefiniowanych wartości wejść w warstwach poprzez normalizację partii, batch normalization pozwala sieciom trenować z znacznie wyższymi współczynnikami uczenia się bez ryzyka odchylenia, co znacznie przyspiesza konwergencję. Ułatwia również trening i zmniejsza wrażliwość na wybór konkretnych inicjalizacji wag, eliminując częsty powód nieudanych przebiegów treningowych. Dodatkowo, szum wprowadzany przez wykorzystywanie różnych statystyk dla każdej partii mini-batch w każdym kroku działa jako łagodny regularizator, dlatego sieci używające batch normalization często wymagają mniej dropout niż w przeciwnym wypadku. W połączeniu te efekty oznaczają, że głębokie sieci, które wcześniej wymagały wielu dni na trening lub nie mogły być trenowane w ogóle, mogą nagle zostać wytrenowane niezawodnie i szybko.

Przyjęcie, Ograniczenia i Alternatywy

Batch normalization zostało niemal natychmiast przyjęte w architekturach widzenia komputerowego, takich jak ResNet i Inception, stając się blisko-domyślnym elementem sieci konwolucyjnych zaledwie kilka lat po jego opublikowaniu. Posiada jednak pewne ograniczenia: jego statystyki zależą od wielkości partii, co powoduje pogorszenie wydajności przy bardzo małych partiach, a jego zachowanie w czasie treningowym w porównaniu z czasem wnioskowania może wprowadzać subtelne błędy, jeśli nie zostanie odpowiednio zarządzane. Pasuje również niezgrabnie do modeli rekurencyjnych i sekwencyjnych, gdzie złożenie partii i długość sekwencji się różnią. Te luki zainspirowały rodzinę alternatyw, w tym layer normalization, które normalizują na poziomie cech dla pojedynczego przykładu zamiast na poziomie partii, oraz group normalization, które normalizują w grupach kanałów, obie z nich całkowicie omijają zależność od wielkości partii.

Frequently asked questions

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Batch Normalization: Taming Internal Covariate Shift i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.