Kodowanie Pozycyjne: Jak Transformery Wiedzą O Kolejności Słów

Problem: Równoległe przetwarzanie nie ma sensu, jeśli brakuje mu porządku

Starsze modele sekwencyjne, takie jak RNN, czytały tekst po jednym słowie za drugim, więc kolejność była wbudowana w sposób, w jaki przetwarzały one informacje krok po kroku. Transformery zrezygnowały z tego podejścia dla szybkości, pozwalając każdemu tokenowi na zwrócenie się do każdego innego tokenu jednocześnie — ale to równoległe przetwarzanie ma swoją cenę. Pozbawione jakiegokolwiek dodatkowego sygnału, podstawowy mechanizm uwagi traktował zdanie jako nieuporządkowany zbiór tokenów, co oznaczało, że 'kot siedział na macie' i jego wersja poskładowana, np. 'mate na siedział kot', wyglądały dla niego identycznie. Musi więc ktoś wyraźnie powiedzieć modelowi, które słowo było pierwsze, drugie i tak dalej.

Rozwiązanie: Dodawanie Sygnatury Położeniowej

Naprawę zastosowano w oryginalnym artykule dotyczącym transformatorów, polegającą na obliczeniu wektora kodowania pozycyjnego dla każdej pozycji w sekwencji i jego prostym dodaniu do embeddingu słowa danego tokena przed wprowadzeniem go do sieci. Każdy wektor pozycyjny jest budowany z fal sinusoidalnych i cosinusoidalnych o wielu różnych częstotliwościach, parę na wymiar embeddingu, co oznacza, że pozycja 0 otrzymuje jeden charakterystyczny wzór wartości, pozycja 1 otrzymuje nieco inny, i tak dalej. Ze względu na to, że zakres częstotliwości sięga od bardzo szybkich oscylacji do bardzo wolnych oscylacji wzdłuż wymiarów embeddingu, każda pozycja kończy się unikalnym, płynnie zmieniającym się sygnaturą, którą model może nauczyć się interpretować jak współrzędną.

Dlaczego Funkcje Sinusoida? Zysk Matematyczny

Funkcje sinusoidalne nie były przypadłością: kluczową właściwością jest to, że kodowanie dla dowolnej pozycji p+k można zapisać jako prosta transformacja liniowa kodu dla pozycji p, dla jakiegokolwiek ustalonego przesunięcia k. Oznacza to, że sieć może łatwiej uczyć się uwagi w oparciu o względną odległość między słowami, taką jak 'słowo dwa pozycje wstecz', zamiast tylko zapamiętywać absolutne położenia. Dodatkowo, ponieważ sinus i cosinus są gładkie i okresowe, schemat całkiem rozsądnie interpoluje się do długości sekwencji dłuższych niż te widziane podczas treningu, w przeciwieństwie do tabeli wyszukiwania pozycji, z którą model nigdy nie natknął się.

Osiągnięcie poza Oryginalny Dokument: Kodowanie Pozycyjne Dzisiaj

Schemat sinusoidal z Vaswani'ego et al. z roku 2017 'Attention Is All You Need' wciąż stanowi pięknie prosty i pouczający punkt odniesienia, ale nie jest już jedyną grą na arenie. Wiele współczesnych dużych modeli językowych wykorzystuje alternatywy, takie jak uczone kodowanie pozycyjne trenowane bezpośrednio z danych, lub obrotowe kodowanie pozycji (RoPE), które obracają wektory zapytania i klucza w sposób, który bezpośrednio zakodowuje względną pozycję wewnątrz samego obliczenia uwagi. Niezależnie od konkretnego mechanizmu, podstawnym zadaniem jest to samo: dostarczenie architektury, która z natury jest ślepta dla kolejności sekwencji, niezawodny sposób na określenie od pierwszego do ostatniego.

Frequently asked questions

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Positional Encoding: How Transformers Know Word Order i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.