Rekurencyjna Sieć Neuronowa Po Poziomie Znaku do Klasyfikacji Pochodzenia Nazw

Dlaczego czytamy litery zamiast słowa?

Większość klasyfikatorów tekstu zaczyna od tworzenia słownika całych słów, ale nazwiska niemal natychmiast podważają ten podział. Istnieje praktycznie nieograniczona liczba możliwych nazwisk, a każdy stały słownik zawsze napotyka na nazwy, których nigdy wcześniej nie widział, zmuszając model do powrotu do ogólnego tokena „nieznane słowo”, który traci wszystkie cenne informacje. Model oparty o poziom znaku całkowicie omija ten problem: zamiast słownika liczącego setki tysięcy słów, potrzebuje on tylko kilkudziesięciu liter, a każde nazwisko, niezależnie od jego rzadkości lub nowo wymyślonego pochodzenia, nadal może być zapisane za pomocą tego małego, ustalonego alfabetu. Dzięki temu model jest odporny na nowe nazwiska, błędy pisowni i transkrypcje, a także zmusza sieć do uczenia się czegoś fundamentalniejszego niż zapamiętane wzorce całych słów: statystycznej tekstury ortografii.”]} p{font-size: 14px;}

Jeden znak naraz: jak komórka RNN aktualizuje stan ukryty

Prosta sieć neuronowa rekurencyjna utrzymuje bieżące podsumowanie wszystkiego, co przeczytała do tej pory, przechowywane jako wektor zwany stanem ukrytym. W każdym kroku czasowym przyjmuje dwa wejścia: kodowanie aktualnego znaku (często wektor one-hot oznaczający, która litera alfabetu jest) oraz stan ukryty z poprzedniego znaku. Te wejścia są łączone za pomocą niewielkiego zestawu nauczonych wag i ściskane przez nieliniowość, taką jak tanh, co generuje nowy stan ukryty, który zastępuje stary. Kluczowe jest to, że te same wagi są używane w każdej pozycji w nazwie, więc sieć stosuje identyczną regułę aktualizacji, niezależnie od tego, czy analizuje pierwszy znak, czy piętnastym. Wprowadzenie do tej komórki nazwy takie jak 'Kowalski' oznacza uruchomienie tego aktualizowania sześć, siedem lub osiem razy pod rząd, w każdym kroku wprowadzając do akumulowanego stanu ukrytego informacje o kolejnym znaku.

Ostateczny stan ukryty jako odcisk palca całego imienia

Po przetworzeniu ostatniego znaku, stan ukryty przestaje dotyczyć pojedynczej litery; jest to skompresowane podsumowanie całej sekwencji, którą sieć przeczytała, ukształtowane przez trening w celu zachowania wszelkich szczegółów przydatnych do wykonania zadania. Aby przekształcić to w prognozę języka, ten ostateczny wektor jest przekazywany przez kolejną, niewielką warstwę, zwykle transformację liniową połączoną z softmaxem, który konwertuje go na rozkład prawdopodobieństwa nad kandydatami pochodzenia, takimi jak rosyjski, włoski, japoński lub szkocki. W efekcie komórka rekurencyjna działa jako wyodrębnia tor cech, redukując dowolnej długości ciąg znaków do wektora o stałej wielkości, a ostatnia warstwa pełni funkcję klasyfikatora, który odczytuje ten wektor i podejmuje decyzję. Trening dostosowuje obie części wspólnie, przy użyciu wielu przykładów nazw z ich prawdziwego pochodzenia, tak aby informacja, która końcowo koduje się w stanie ukrytym, była dokładnie tą informacją, której potrzebuje klasyfikator.

Dlaczego to działa tak dobrze dla nazw szczególnie

Różne języki pozostawiają charakterystyczne ślady statystyczne w sposobie pisania, a duża część tych sygnałów znajduje się w krótkich sekwencjach znaków zamiast znaczenia całych słów. Polskie nazwiska często kończą się na '-ski' lub '-cki', rosyjskie na '-ov' lub '-ova', imiona wietnamskie preferują krótkie sylaby z określonymi diakrytykami, a irlandzkie często zaczynają się od 'Mc' lub apostrof-O. Sieć neuronowa rekurencyjna opartego na poziomie znaku nie musi być uczona tym regułami wprost: ponieważ przetwarza litery po kolei i akumuluje stan, naturalnie staje się wrażliwa na powtarzające się kombinacje liter i ich położenie, zwłaszcza pod koniec nazwiska, gdzie często znajdują się najbardziej identyfikujące sufiksy. To właśnie taki rodzaj zadania, w którym najwięcej pracy wykonują statystyki n-gramów znaków, a to dlatego nawet stosunkowo niewielka, prosta sieć rekurencyjna może osiągnąć przyzwoitą dokładność w tym klasycznym problemie.

Kamieniem wzywającym do sieci LSTM i GRU

Prosta komórka RNN opisana tutaj jest elegancka, ale posiada dobrze znaną słabość: dla dłuższych sekwencji gradienty używane podczas treningu mają tendencję do kurczenia się lub eksplodowania, gdy są propagowane wstecz przez wiele powtarzających się kroków czasowych, co utrudnia sieci utrzymanie informacji z wczesnych znaków, zanim dotrą do końca długiego imienia. W przypadku krótkich nazw tego rzadko powoduje poważne problemy, co jest częścią powodu, dla którego klasyfikacja nazw jest tak popularnym przykładem wprowadzającym. Jednakże to samo ograniczenie staje się realną przeszkodą na dłuższych sekwencjach, takich jak pełne zdania lub akapity. To właśnie problem, który miały rozwiązać architektury zaporowe, takie jak LSTM i GRU, poprzez dodanie nauczonych bramentów, które pozwalają sieci selektywnie zachowywać lub odrzucać informacje na znacznie dłuższych odstępach czasu. Zrozumienie pierwszej komórki RNN opartej na znakach sprawia, że ​​jest znacznie łatwiej docenić, co w rzeczywistości naprawiają te dodatkowe bramy.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Character-Level RNN for Name Origin Classification i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.