Związek Residuów: Dlaczego Sieci Neuronowe z Wieloma Warstwami Potrzebują Skrótów

Problem degradacji

Zgodnie z intuicją, dodawanie kolejnych warstw do sieci neuronowej nigdy nie powinno pogorszyć jej wydajności, ponieważ głębsza sieć zawsze może naśladować niższą, ucząc się funkcji tożsamości przez dodatkowe warstwy. Jednak w praktyce badacze odkryli odwrotność: im bardziej proste sieci stawały się coraz głębsze, tym wydajność treningowa rosła, potem stabilizowała się, a następnie spadała – nawet na zbiorze danych treningowych. Z tego powodu wykluczono przeuczenie (overfitting) jako przyczynę i wskazano na coś fundamentalnego: proste, głębokie sieci były trudne do optymalizacji, ponieważ gradienty i sygnały miały problemy z czystym propagowaniem przez setki warstw.

Nauka Reszty, Nie Całego Mapowania

Proponowane przez He'a et al. rozwiązanie polegało na zmianie tego, czego każde bloki warstw mają się uczyć. Zamiast zmuszać stosy warstw do bezpośredniego uczenia się pełnego pożądanego mapowania H(x), bloki resztkowe pozwalały im uczyć się tylko reszty F(x) = H(x) − x, a połączenie skip-connectors przenosiło oryginalny wejście x i dodawało je z powrotem. Wynik stawał się F(x) + x, więc jeśli idealne przekształcenie dla bloku jest bliskie bezczynności, warstwy potrzebują jedynie popchnąć F(x) w kierunku zera – znacznie prostsze zadanie niż rekonstruowanie tożsamych mapowań od zera za pomocą nieliniowych warstw.

Dlaczego Skróty Ułatwiają Optymalizację

Rzeczywisty zwrot z połączeń resztkowych widać podczas propagacji wstecznej. Ponieważ połączenie pomijające zapewnia bezpośrednią, niezakłamaną ścieżkę z wyjścia z powrotem do wejścia, gradienty mogą przez nie przepływać bez wielokrotnego mnożenia przez małe pochodne warstwowe – co jest głównym źródłem problemu zanikającego gradientu w bardzo głębokich sieciach płaskich. Oznacza to, że nawet najwcześniejsze warstwy w sieci o 100+ warstwach nadal otrzymują silne, znaczące sygnały gradientów, dzięki czemu cała struktura może być skutecznie trenowana przy użyciu zwykłej propagacji wstecznej zamiast utknąć lub rozbieżności.

Od ImageNet do wszędzie

Wpływ ResNet był natychmiastowy i spektakularny: wygrał Konkurs Skalowalnego Rozpoznawania Obrazów w Wielkim Mierze z 2015 roku, wykorzystując sieci o głębokości 152 warstw, znacznie przewyższającą wszystko, co wcześniej udało się wytrenować, a także zmniejszył błąd top-5 do poziomu wyprzedzającego wyniki ludzkie w tym zadaniu. Jednakże pomysł ten wykracza poza klasyfikację obrazów – połączenia resztkowe są teraz domyślnym składnikiem architektonicznym transformatorów (włącznie z każdą warstwą modeli stojących za nowoczesnymi językami i wizjami AI), modeli mowy oraz sieci uczenia przez wzmacnianie, tam gdzie inżynierowie potrzebują niezawodnie trenować bardzo głębokie systemy.

Frequently asked questions

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Residual Connections: Why Deep Networks Need Shortcuts i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.