Tłumaczenie sekwencji do sekwencji z uwzględnieniem uwagi

Dwie sekwencje, jedna модель

Tłumaczenie maszynowe, sumarykowanie i transkrypcja mowy mają wspólną nieprzyjemną cechę: wejście i wyjście są obu zmiennych długości i rzadko pasują do siebie jedno do jednego. Pięcio słowna fraza angielska może stać się siedmioczętnym tłumaczeniem francuskim, a słowa mogą być uporządkowane całkowicie inaczej. Klasyyczne sieci neuronowe oczekują na wejścia i wyjścia o ustalonej wielkości, dlatego nie mogą obsługiwać tego bezpośrednio. Architektura seq2seq, wprowadzona przez Sutskevera, Vinyala i Le w 2014 roku oraz samodzielnie przez Cho i in., rozwiązuje ten problem, dzieląc zadanie na dwa sieci neuronowe rekurencyjne: encoder, który czyta całą źródłową sekwencję i kompresuje ją do wektora o ustalonej wielkości, oraz decoder, który bierze ten wektor i generuje docelową sekwencję token po tokenie. Ze względu na to, że dwie części są trenowane wspólnie od początku do końca, sieć uczy się własnej reprezentacji wewnętrznego znaczenia bez konieczności ręcznego projektowania zasad tłumaczenia ani tablic aligment.

Szyfrator: czytanie i kompresja

Szyfrator jest zwykle RNN, LSTM lub GRU przetwarzającym zdanie źródłowe słowo po słowie, aktualizując swoje stan ukryty na każdym kroku tak, aby reprezentował wszystko, co widział dotychczas. Po tym, jak ostatnie słowo zostanie zjedzone, stan ukryty szyfratora traktowany jest jako podsumowanie całego zdania, często nazywane wektorem kontekstu. Ten pojedynczy wektor, zwykle tylko kilka setek liczb, powinien zawierać w sobie znaczenie, strukturę i każdą detalię potrzebną do odtworzenia zdania w innym języku. Jest to wiele, na co można polegać na jednym ustalonej wielkości wektorze, a właśnie tam najwcześniejsze seq2seq modele zaczęły napotykać trudności. Gdy zdanie źródłowe staje się dłuższe, szyfrator musi wprowadzać coraz więcej informacji do kontenera, który nigdy nie rosnie, więc wcześniejsze słowa tarczą się lub rozcieńczają przed czasem, podobnie jak próbując podsumować całe novelę w jednym tweetie, niezależnie od długości noveli.

Dekoder: generowanie jednego tokenu za razem

Dekoder jest samodzielnie RNN, który jest inicjalizowany stanem ukrytym końcowym encjera i generuje celowy zdanie token po token. W każdym kroku przyjmuje jako wejście swój własny poprzedni stan ukryty oraz wygenerowaną poprzednio frazę, tworzy rozkład prawdopodobieństwa nad słownikiem celowym i wybiera najbardziej prawdopodobne nastepne słowo, lub losuje z rozkładu podczas bardziej eksploracyjnej generacji. Wybrane słowo jest następnie ponownie wprowadzone jako wejście dla kolejnego kroku, dlatego dekoder buduje sekwencję wyjściową autoregresywnie, token po tokenie, aż do momentu, gdy wygeneruje token końcowy zdania. W trakcie treningu ten proces jest prowadzony przez zmuszanie na nauczanie, gdzie prawdziwe poprzednie słowo celowe jest wprowadzone zamiast przewidywania modelu, co stabilizuje uczenie; podczas czasu inferencji dekoder musi polegać na własnych przewidywaniach, dlatego wcześniejsze błędy mogą czasem spowodować zamieszany tekst.

Uwaga: zatrzymaj się przed przyciskaniem, zacznij patrzeć w tył

Fixed-size kontekstowy wektor był słabością architektury seq2seq, a Bahdanau, Cho i Bengio w swoim roku 2014 papierze naprawili to pomysłem nazywanym teraz uwagą. Zamiast zmuszać dekodera do opierań się jedynie na jednym skompresowanym podsumowaniu, uwaga zachowuje każdy ukryty stan, jeden dla każdego źródłowego słowa, i pozwala dekoderaowi konsultować wszystkie z nich na każdym kroku dekodowania. Na każdym kroku dekoder oblicza wynik aligamentacji między swoim bieżącym stanem a każdym ukrytym stanem encodera, pomiarając, jak bardzo ważne jest to źródłowe słowo w tej chwili. Te oceny są przeprowadzane przez softmax, aby stać się wagami uwagi sumującymi się do jednego, a ukryte stany encodera są połączone w sumę ważoną, nazywaną kontekstem, przy użyciu tych wag. Efektywnie dekoder dostaje możliwość odwrotnej komunikacji i pyta: 'Jakie źródłowe słowa mają najważniejsze znaczenie dla słowa, które chce wygenerować?' zamiast zaufać jednemu wektora, że pamięta wszystko poprawnie. To dokładnie dlaczego wizualizacje wag uwagi, rysowane jako mapa ciepła, często śledzą linię przypominającą diagonalną dla języków o podobnym porządku słów, lub wyraźnie zginącą się dla języków, które zmieniają położenie fraz, takich jak przymiotniki przesuwające się przed lub za rzeczownik.

Z uwagi do Transformer

Uwaga była pierwotnie dodawana jako pomocnicza funkcja do RNN, ale badacze szybko zauważyli coś bardziej rewolucyjnego: sam mechanizm powtarzania, cykliczny pętlik sekwencyjny przetwarzający słowa jeden za drugim, nie był czymś, co sprawiało, że uwaga była przydatna. Ważne było zdolność relacjonowania dowolnego położenia w sekwencji do dowolnego innego położenia bezpośrednio. W 2017 roku Vaswani i inni przekształczyli to obserwacje na jego logiczny konsekwencje w pracy Attention Is All You Need, całkowicie zrezygnując z powtarzania i budując model Transformer tylko ze warstw uwagi i sieci biegunowych. Usunięcie zależności kroku po kroku oznaczało, że każda pozycja w sekwencji mogła być przetwarzana równolegle podczas treningu zamiast jedno token po drugim, co było ogromnym zwycięstwem dla szybkości na współczesnych GPU i TPUs. Każde duże model języka od BERT do GPT oraz najnowszych przedgrodniowych modeli, opiera się bezpośrednio na tym odkryciu, czyniąc prosty mechanizm uwagi encodera-decoder z maszynowego tłumaczenia jednym z najbardziej konsekwencjonalnych pomysłów w historii uczenia głębokiego.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Sequence-to-Sequence Translation with Attention i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.