Lab z komórki LSTM z drzwiami pamięci

Dlaczego proste RNN zapominają o przeszłości

Sieć rekurencyjna typu vanillaaktualizuje swoje stan ukryty na każdym kroku czasowym mnożeniem przez tą samą macierz wag i przekształcanie wyniku poprzez funkcję nieciągu, taką jak tanh. W trakcie treningu sygnał błędu używany do dostosowania tych wag musi płynąć wstecz przez każdą z tych mnożeń, jedno na każdym kroku czasowym. Gdy czynnik powtarzający jest mniejszy niż jeden, gradient zmniejsza się eksponencjalnie dalej w przeszłości, co nazywa się problemem zaginającego gradientu. W praktyce oznacza to, że RNN treningowana na zdanie lub serii czasowej dłuższej niż kilkaset kroków prawie nie może nauczyć zależności między wydarzeniem w pobliżu początku a wynikiem w pobliżu końca, ponieważ sygnał treningowy łączący je zanika do niemal zera przed dotarciem do odpowiednich wag. Alternatywna awaria, zwana eksplozją gradientu, może również wystąpić, gdy ten czynnik jest większy niż jeden, co prowadzi do nieustających i niepewnych aktualizacji.

Stan komórki: tor pamięci

LSTMs rozwiązuje ten problem dodając drugą ścieżkę nazywaną stanem komórkowym, który przepływa przez wszystkie timestepsy z tylko małymi, głównie liniowymi modyfikacjami zamiast powtarzanych mnożeń macierzowych i squashingu. Wyobraź sobie to jako toru transportowego przenoszącego informacje prosto przez sekwencję; gradienty mogą przepływać po tym torze prawie niezmienione, co sprawia, że nie znikają. Brzeg zapomnienia jest pierwszym elementem, który informacja napotkuje na każdym kroku: mała warstwa neuronowa analizuje bieżący wejście i poprzedni stan ukryty, a następnie wydaje wartość z zakresu od 0 do 1 dla każdego fragmentu przechowywanej informacji, decydując, ile starego stanu komórkowego zachować w porównaniu do usunięcia. Wartość bliska 0 czysto wyczyści ten slot pamięci; wartość bliska 1 pozostawi go nienaruszonym, pozwoliwszy kluczowej informacji na transport przez tor bez ograniczeń.

Pisanie i czytanie za pomocą drzwi wejściowych i wyjściowych

Po zapomnieniu, drzwi wejściowe decydują o tym, co nowa informacja zostanie zapisana na pasku. Łączą kandydat do aktualnej informacji, który jest obliczany z bieżacego wejścia, z wartością drzwi, która kontroluje ile tego kandydata rzeczywiście zostanie dodane do stanu komórki, tak że nieistotne tokeny mogą być przegapione, podczas gdy ważne są silnie włączone. Na koniec drzwi wyjściowe regulują, jaką część zaktualizowanego stanu komórki staje się ukrytym stanem dostępnym dla reszty sieci i następnego taktu. Filtrują stan komórki poprzez inny nauczone wartość drzwi, tak aby LSTM mogło przechowywać informacje wewnętrznie do przyszłych użyć bez konieczności natychmiastowego rozprzestrzeniania ich jako wyjście. Wspólnie te trzy drzwi dają sieciowi precyzyjne, nauczone zarządzanie pamięcią: co usunąć, co dodać i co zdradzić.

Gdzie LSTM są używane obecnie

Podczas około dwudziestu lat LSTM stanowiły podstawę modelowania sekwencyjnego: modeli językowych, tłumaczenia maszynowego, rozpoznawania mowy, generowania pisma ręcznego oraz prognozy serii czasowych dla wszystkiego od cen akcji na rynku finansowym do telemetryi czujników. Od 2017 roku architektury transformerów z uwagą samoodnosiszową przekroczyły LSTM w większości dużoskalowych zadań językowych i sekwencyjnych obrazu, ponieważ uwagi pozwalają na bezpośrednie połączenie każdego punktu z każdym innym, lepiej paralelizują się na współczesnym sprzęcie i przewidywalniej skalują się ze wzrostem danych i obliczeń. LSTM nadal są popularne, zwłaszcza w ograniczonych zasobach lub strumieniowych ustawieniach, takich jak detekcja kluczowych słów na urządzeniu, systemy sterowania w czasie rzeczywistym i mniejszych pipeline-ach serii czasowych lub fuzji czujników, gdzie niski obciążenie pamięciowe, procesowanie sekwencyjne i silna przewidywalność dla danych uporządkowanych nadal są naprawdę przydatne.

Często zadawane pytania

Co dokładnie jest problemem znikającego gradientu, a dlaczego przysłania on tak bardzo proste RNN'y?

Podczas propagacji błędu wstecz przez czas, gradient używany do aktualizacji wag RNN jest obliczany poprzez wielokrotne zastosowanie reguły łańcuchowej na każdym kroku, co obejmuje mnożenie przez macierz wag rekurencyjną i pochodną funkcji aktywacji. Gdy te czynnikowe elementy są mniejsze niż jeden, co jest powszechne dla aktywacji zatkania, takich jak tanh lub sigmoida, gradient zmniejsza się eksponencjalnie wstecz przez więcej kroków czasowych. Po wystarczająco wielu krokach staje się on numerycznie nieodróżnialny od zera, więc sieć otrzymuje prawie żaden sygnał nauczeniowy łączący dalekie poprzednie wejścia z bieżącym błędem. Praktycznie to oznacza, że prosta RNN może nauczyć się wzorców krótko-różnicowych dobrze, ale nie nauczy się, że np., temat w początku długiej frazy powinien zgadzać się z czasownikiem kilkudziesiąt słów później, ponieważ ten sygnał nauczeniowy nigdy nie przetrwa cofającego się błędu.

Jak cell state LSTM unika tego samego problemu znikającego gradientu?

Cell state jest aktualizowany głównie poprzez elementowe dodawanie i mnożenie przez wartości drzwi, a nie powtarzane mnożenie przez współdzieloną macierz wag, nastepowane przez aktywację zatkania. Gdy drzwi zapomnienia wydaje wartość bliską jedynki, cell state na kolejnym kroku jest prawie dokładną kopią poprzedniego plus mały dodatkowy update, więc gradient przepływający wstecz po tej ścieżce jest bliski jedynki, a nie zanikając mnożenie na każdym kroku. Ta prawie liniowa, addytywna ścieżka jest często opisywana jako stały carousel błędu, i pozwala gradientom podróżować przez setki lub nawet tysiące kroków czasowych z znacznie mniej zanikaniem niż w RNN standardowej, co dokładnie pozwala LSTM nauczyć się zależności długoterminowych.

Co rzeczywiście obliczają drzwi zapomnienia, wejściowe i wyjściowe, a są one uczone?

Tak, wszystkie trzy drzwi to małe warstwy uczone, zazwyczaj funkcja sigmoide zastosowana do kombinacji ważonych obecnych wejść i poprzedniego stanu ukrytego, generujących wartości między zero a jedynką, które działają jako miękkie przełączniki włączania/wyłączania. Drzwi zapomnienia mnożą poprzedni cell state, kontrolując ile starych informacji przetrwało. Drzwi wejściowe mnożą kandydat na nową wartość przed dodaniem do cell state, kontrolując ile nowych informacji zostanie zapisanych. Drzwi wyjściowe mnożą transformowaną wersję zaktualizowanego cell state, aby wygenerować ukryty stan, który jest dostępny jako wyjście. Wszystkie powiązania związane są trenowane razem z resztą sieci poprzez propagację błędu wstecz, więc model uczy się na własną rękę, jakie informacje są warto zachować, dodać czy odkryć dla zadania.

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz LSTM Memory Cell Gate Lab i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.

▶ Otwórz symulację LSTM Memory Cell Gate Lab