🎙️ Rozpoznawanie mowy — dekodowanie HMM Viterbiego na żywo

Suwak szumu ustala prawdopodobieństwo, że w danej klatce czasowej obserwacja zostanie zastąpiona jednostajnie losowym symbolem akustycznym zamiast uczciwie wylosowanego z rozkładu emisji prawdziwego ukrytego fonemu — modelując niedopasowanie akustyczne, takie jak szum tła, zniekształcenia mikrofonu czy efekty kanału. Przy szumie 0 dekoder Viterbiego, który używa dokładnie tego samego modelu przejść i emisji, jaki wygenerował dane, powinien niemal idealnie odzyskać prawdziwą ścieżkę fonemów. W miarę wzrostu szumu coraz większa część klatek niesie dowody akustyczne wskazujące na niewłaściwy stan, a dekoder musi mocniej opierać się na strukturze prawdopodobieństw przejść (fakcie, że niektóre sekwencje fonemów są po prostu bardziej prawdopodobne niż inne), by pozostać na właściwej ścieżce — więc dokładność dekodowania pogarsza się stopniowo, a nie katastroficznie, co jest dokładnie tą łagodną degradacją, jaką wykazują prawdziwe zaszumione systemy ASR.

Klasyczne systemy rozpoznawania mowy oparte na HMM modelują każde słowo lub głoskę jako łańcuch od lewej do prawej (topologia Bakis): stan może zapętlać się na sobie (pozwalając fonemowi trwać przez zmienną liczbę klatek, ponieważ ludzie mówią z różną prędkością), przejść do następnego fonemu lub okazjonalnie pominąć jeden do przodu (modelując fonem, który zostaje połknięty lub skoartykułowany), ale czas nigdy nie płynie wstecz w obrębie wypowiedzi. 5-stanowy łańcuch SIL-K-AE-T-S w tej symulacji używa dokładnie tej topologii, z przejściami o zerowym prawdopodobieństwie (przechowywanymi jako minus nieskończoność w logarytmie) dla każdej pary stanów, których prawdziwa mowa fizycznie nigdy nie produkuje, co jednocześnie odpowiada rzeczywistej praktyce ASR i sprawia, że krata jest wizualnie interpretowalna jako przejście w przód.

Produkcyjne systemy ASR historycznie używały dokładnie tego szkieletu HMM + Viterbi — modeli akustycznych typu mieszanina Gaussa lub głęboka sieć neuronowa, generujących prawdopodobieństwa stanów dla każdej klatki, HMM fonemów i wymowy połączonych w grafy słów i zdań oraz Viterbiego (lub jego przybliżenia przeszukiwaniem wiązkowym, stosowanego, ponieważ prawdziwe słowniki czynią pełną kratę zbyt dużą) dekodującego najbardziej prawdopodobną sekwencję słów — a hybrydowe systemy HMM/DNN pozostają w użyciu produkcyjnym do dziś obok nowszych podejść neuronowych typu end-to-end. Ta symulacja upraszcza model akustyczny do małego, ręcznie zbudowanego rozkładu dyskretnego, a słownik do pięciu fonemów, tak by cały program dynamiczny, kratę wskaźników wstecznych i decyzję dekodowania można było obserwować komórka po komórce, ale algorytmiczny rdzeń — programowanie dynamiczne w domenie logarytmicznej nad probabilistyczną maszyną stanów — jest identyczny z tym, co przez dekady stosowano w prawdziwych systemach rozpoznawania.

Logarytm wiarygodności zdekodowanej ścieżki to własny wewnętrzny wynik algorytmu Viterbiego: suma każdego logarytmu prawdopodobieństwa przejścia i logarytmu prawdopodobieństwa emisji wzdłuż jedynej najbardziej prawdopodobnej znalezionej ścieżki, co jest cechą wyłącznie modelu i obserwacji i można to obliczyć nawet bez znajomości prawdziwej ścieżki generującej. Dokładność dekodowania z kolei porównuje zdekodowaną ścieżkę klatka po klatce z prawdziwą ukrytą ścieżką, która faktycznie została użyta do wygenerowania syntetycznej wypowiedzi — informacją, do której prawdziwy system rozpoznawania nigdy nie ma dostępu, ale którą ta symulacja może pokazać, ponieważ pełni też rolę „generatora prawdy podstawowej”. Wysoki logarytm wiarygodności nie gwarantuje wysokiej dokładności (model może być pewnie w błędzie przy dużym szumie), dlatego właśnie obie liczby są pokazywane obok siebie.