Wewnątrz komórki LSTM: Jak drzwi zapominania, wejścia i wyjścia przypominają o prawdziwych rzeczach

Dlaczego proste sieci rekurencyjne zapomniano za szybko

Prosta sieć rekurencyjna przekazuje stan ukryty z jednego kroku czasowego do drugiego, powtarzając mnożenie go przez tą samą macierz wag. Powtarzane mnożenie jest numerycznie nieprzyjazne: jeśli dominująca wartość własna tej macierzy wag jest nawet lekko mniejsza niż jedynka, stan ukryty zanika ku zeru po wielu krokach czasowych i gradient używany do treningu wcześniejszych kroków czasowych również zanika, więc sieć nie może nauczyć zależności przechodzących dłużej niż kilka kroków. To jest poważne ograniczenie dla problemów takich jak prognozowanie liczb pasażerów lotniczych miesięcznych, gdzie istotny wzór — np. okresowy cykl rokowy — obejmuje więcej niż dwanaście kroków czasowych. Architektura Long Short-Term Memory (LSTM) została zaprojektowana w celu zaoferować sieciom rekurencyjnym mechanizm przekazywania informacji po długich odstępach bez tego zaniku.

Stan komórki: kanał przesyłania informacji

Kluczowym strukturalnym dodatkiem w LSTM jest stan komórki — oddzielna ścieżka przechodząca przez całą sekwencję, która pozostaje na wiele kroków niemodyfikowana bezpośrednimi transformacjami nieliniowymi. Zamiast nadpisywać stan komórki w każdym kroku tak jak to robi RNN (Recurrent Neural Network) z jego ukrytym stanem, LSTM dodaje do niego lub selektywnie usuwa części. To pozwala na zachowanie informacji z dziesięciu, pięćdziesięciu lub więcej wcześniejszych kroków bez tego, aby ta informacja była zniszczona przez powtarzane mnożenie poprzez squashujące nieliniowości. Trzy uuczone bramy — brama zapomnienia, brama wejścia i brama wyjścia — kontrolują dokładnie, co zostaje dodane, usunięte lub zaznaczone na każdym kroku czasowym.

Przypominanie: decydujące o tym, co zignorować

Na każdym kroku czasowym przypominanie sprawdza obecny wektor wejściowy i poprzedni stan ukryty, przechodzi je przez warstwę sigmoideczną i tworzy wektor wartości między 0 a 1 — jedna wartość dla każdego elementu w stanie komórkowym. Wartość bliska 0 oznacza 'wyczyść tę część pamięci,' a wartość bliska 1 oznacza 'zachowaj ją.' Ten wektor mnoży się elementarnie z istniejącym stanem komórkowym, więc przypominanie jest mechanizmem, dzięki któremu sieć uczy, aby usunąć informacje nieistotne — na przykład, po przejściu maksimum sezonowego, konkretna wartość tego maksimum już nie będzie istotna dla prognozowania kolejnych miesięcy, a przypominanie może uczyć się zaniedbywania go podczas gdy sieć uczy, aby zachować szersze fazę sezonową.

Drzwi wejściowe: decydujące się na nową informację do przechowywania

Dwa rzeczy dzieją się równolegle, aby ustalić, co nowa informacja wejdzie w stan komórki. Warstwa sigmoide (prawdziwe drzwi wejściowe) wygenerowuje wartości między 0 a 1, które decydują o tym, jakie części stanu komórkowego powinny być zaktualizowane. W tym samym czasie warstwa tanh tworzy wektor kandydatów — nowych informacji, które mogłyby zostać dodane do stanu komórkowego, przekształcony w zakres od −1 do 1. Wyjście sigmoide drzwi wejściowych jest mnożone przez te kandydatury, a wynik dodawany jest do stanu komórkowego po tym, jak drzwi zapomniania wykonają swoją czyszczenie. Ta dwukrotna konstrukcja (decydowanie o tym, co można dodać, i oddzielnie decydowanie, ile z tego rzeczywiście dodać) daje sieci precyzyjne kontrolę: może zaproponować silny nowy pamięci, ale tylko częściowo przyznać jej dostęp, lub całkowicie zablokować ją, w zależności od tego, czego sigmoide drzwi nauczyło się wykrywać jako istotnego.

Drzwi wyjściowe: decydujące się na to, co ukryć

Sam stan komórki nigdy nie jest wyjście bezpośrednio. Zamiast tego, drzwi wyjściowe — kolejny warstwy sigmoide — zdecydowują, które części aktualizowanego stanu komórkowego powinny wpływać na ukryty stan i, rozszerzenie tego pojęcia, na przewidywanie w tym kroku czasowym. Stan komórki przechodzi przez funkcję tanh, aby zostawić go znowu w zakresie −1 do 1, a następnie mnożony jest przez wartości sigmoide drzwi wyjściowych, co tworzy nowy ukryty stan. Taka separacja między wewnętrznym stanem komórkowym (długoterminową pamięcią) a widocznym zewnętrznie stanem ukrytym (co jest używane do przewidywania i przenoszonego do kolejnej warstwy) pozwala LSTM na zachowanie informacji, które nie są gotowe do wykorzystania, ukazując je tylko w tym kroku czasowym, gdy stały się one odpowiednie.

Podsumowanie: przykład prognozowania liczebności pasażerów

Zastanówmy się nad siecią zaprojektowaną do prognozowania miesięcznych liczb pasażerów lotnictwa, która przyjmie jako wejście jedną liczbę pasażerów na krok czasowy i wygeneruje prognozę z użyciem warstwy liniowej na podstawie końcowego stanu ukrytego LSTM. Praktyczne eksperymenty wykonane w taki sposób zwykle korzystają z podejścia opartego na oknie przesuwającym, podawając modeli krótką historię poprzednich wartości do prognozowania kolejnej i porównując rozmiary warstw ukrytych (np. 50 jednostek w porównaniu do 100) aby zobaczyć, czy dodatkowa przepustowość poprawia dokładność bez nadadapcji około setki dostępnych punktów treningowych. Jednolana sieć LSTM z modestnym rozmiarem ukrytym jest często wystarczająca, aby znacząco przewyższyć prostej

% 'prognozuj ostatnie wartość' baseline

w tym rodzaju gładko zmieniających się, sezonowych serii, dokładnie dlatego, że drzwi pozwalają jej zachować ciągłą wiedzę na temat trendu i faz sezonowości między krokami a nie od nowa przy każdej prognozie.

Praktyczne lewaki przy kalibracji przewidywania LSTM

Kilka decyzji projektowych ma większą wagę niż inne podczas tworzenia LSTM do zadań opartych na serii czasowej, takich jak to. Okno lookback — ilość poprzednich obserwacji dostarczanych do każdego przewidywania — oferuje trade-off między udzieleniem modelowi większej kontekstu a rozcieńczeniem sygnału treningowego, gdy zestaw danych jest mały. Rozmiar ukrytej warstwy kontroluje zdolność sieci do reprezentacji informacji, ale ryzykuje overfitting na krótkich seriiach, jeśli zostanie zbyt wysoki bez regularizacji. Stosowanie dodatkowych warstw LSTM może pozwolić na wykrycie bardziej skomplikowanych wzorców czasowych, ale mnoży liczbę parametrów i ryzyko zniknięcia sygnału przez dodatkowe warstwy. Ponieważ liczby pasazerów mogą się rozprzestrzenić w szerokim zakresie numerycznym, skalowanie danych wejściowych (np. za pomocą normalizacji min-max) przed treningiem jest zwykle konieczne, aby aktywacje sigmoid i tanh drzwi działały w ich użytecznym, niesatysfakcjonującym zakresie.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Inside an LSTM Cell i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.