Kodownik-Odkodownik | Centrum Wiedzy o Sieciach Neuronowych…

Podstawowa Architektura dla Transformatywnych Zadaniami Serii

Architektura Kodownik-Odkodownik składa się z dwóch kluczowych elementów: kodownika przetwarzającego wejściową serię i tworzącego reprezentację, oraz odkodownika generującego wyjściową serię na podstawie tych reprezentacji.

Ta architektura stanowi fundament dla zadań takich jak tłumaczenie maszynowe, podsumowywanie i inne zadania transformacyjne serii.

Kluczowy element: ukryta uwaga dla generowania w sposób autoregresyjny

Ta architektura jest często wykorzystywana w modelach takich jak GPT (Generatywna Przewidywana Transformatorka) i modelach tylko odkodowawczych.

Ukryta uwaga odgrywa kluczową rolę w połączeniu kodownika z odkodownikiem, umożliwiając generowanie w sposób autoregresyjny.

demo na żywo · powiązana symulacja● LIVE

Wynik: Wysoce Jakościa Tłumaczenie

Proces ten polega na przetworzeniu wejściowego tekstu za pomocą kodownika i wygenerowaniu podsumowania przez odkodownik opartego na tej przetworzonej informacji.

W konsekwencji otrzymujemy wersje skrócone tekstów, które zachowują ich podstawowy znaczenie.

Często zadawane pytania

Czym jest architektura Encoder-Decoder?

Architektura Encoder-Decoder składa się z encodera i dekodera. Encoder przetwarza sekwencje wejściowe, tworząc reprezentacje, a dekoder generuje sekwencje wyjściowe na podstawie tych reprezentacji.

Jak działa zorientowana wzajemnie uwaga?

Zorientowana wzajemnie uwaga pozwala dekodera ‘patrzeć’ na wyjście encodera. Zapytanie (Q) jest pobierane z dekodera, a klucze (K) i wartości (V) z encodera.

Jaka rolę odgrywa zorientowana wzajemnie uwaga w generowaniu tekstu?

Zorientowana wzajemnie uwaga umożliwia dekodera selektywnie dbać o ważne części kodowanej sekwencji wejściowej, co pozwala mu generować bardziej dokładne i kontekstualnie odpowiednie wyjście.

▶ Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Hash Function Avalanche Visualizer i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.

▶ Otwórz symulację Hash Function Avalanche Visualizer