Zrozumienie Jędra Współczesnych Sieci Neuronowych

Uwaga — To Wszystko, Co Potrzebujesz

Traditionalne sieci neuronowe rekurencyjne (RNN) napotakiwały trudności przy długich sekwencjach z powodu gradientów zaginających i trudności w wykrywaniu zależności między odległymi elementami. Transformer rozwiązuje to wprowadzając koncept ‘uwagi,’ który pozwala modelowi bezpośrednio oceniać relacje między wszystkimi częścią sekwencji.

Zamiast przetwarzać sekwencję w porządku, uwaga oblicza sumę ważoną wszystkich tokenów wejściowych na podstawie ich znaczenia dla siebie. To tworzy reprezentacje świadome kontekstu, które są znacznie bardziej odporne niż te wygenerowane przez RNN.

Attention(Q, K, V) = softmax((QK^T)/sqrt(d_k))V

Uwaga na siebie: bliższe podejście

Na podstawie swojej natury, uwaga na siebie obejmuje trzy macierze nauczone – Query (Q), Key (K) i Value (V). Te są wyznaczone na podstawie wstępnego kodowania wejściowego. Wagi uwagi są następnie obliczane poprzez iloczyn skalarny Q i K, przeskalowane do stabilności oraz zastosowanie funkcji softmax.

Wynikowe wagi determinują, jak duży udział ma mieć każdy token w reprezentacji każdego innego tokenu w sekwencji. To pozwala modelowi na zaświatkowanie skomplikowanych relacji bez zależności od jedynie kolejności sekwencyjnej.

Attention Score = Q * K^T / sqrt(d_k)

Struktura kodownika-dekodownika

Architektura Transformera zazwyczaj wykorzystuje strukturę kodownika-dekodownika. Kodownik przetwarza ciąg wejściowy, generując reprezentację kontekstualną. Ta reprezentacja jest następnie wykorzystywana przez dekodownik do generowania ciągu wyjściowego.

Oba kodownik i dekodownik są zbudowane z wielu warstw sklejonych, każda zawierająca mechanizmy uwagi na siebie oraz sieci neuronowe przodu. Połączenia rezydualne i normalizacja warstwowa są wykorzystywane do poprawy stabilności treningu.

Output = Decoder(Encoder(Input))

Skalowanie dla wydajności

Paralelizowana natura mechanizmów uwagi pozwala Transformatormom na trening na ogromnych zbiorach danych i znacznie większych modelach niż tradycyjne RNN. To skalowanie było kluczowym czynnikiem w sukcesie modeli takich jak GPT-3.

Dodatkowo, techniki takie jak wielokrotne uwagi – gdzie wiele warstw samouwagi operuje w paralelu – dalszy zwiększa zdolność modelu do zrozumienia różnorodnych relacji w danych.

Model Size * Data Size -> Performance (generally)

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz SPH Fluid i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.