Analiza Sceny Słuchowej: Jak Słyszymy Oddzielne Dźwięki

Jedna mieszanina, wiele źródeł

Niezależnie od tego, co w rzeczywistości dzieje się w pomieszczeniu — skrzypce, brum lodówki, rozmowa dwóch osób — błonka słuchowa otrzymuje jedynie jedną rzecz: pojedynczą falę ciśnienia, sumę wszystkich źródeł dodanych do siebie w powietrzu. Nie ma separacji kanałów w węchu. Mimo to słuchacze bez wysiłku rozróżniają skrzypce, brum i dwie głosy jako cztery odrębne obiekty. Psycholog Albert Bregman nazwał ten problem rozkładu analizą sceny słuchowej (ASA) w swojej książce z 1990 roku o tej samej nazwie, celowo nawiązując do praw Gestaltowych grupowania, które wyjaśniają, jak oko organizuje przypadkowy zbiór linii w oddzielne kształty — z tym, że uszu trzeba to robić zarówno w czasie, jak i w częstotliwości.

Bregman podzielił maszynę na dwa rodzaje procesów. Podstawowe grupowanie jest szybkie, automatyczne i obecne od narodzin — opiera się na statystycznych regularnościach, które prawie zawsze dotyczą pojedynczego rzeczywistego źródła dźwięku. Grupowanie oparte na schematach jest uczenie się i oparte na wiedzy — pozwala biegłemu słuchaczowi śledzić znaną melodię lub znaną głos w mieszaninie nawet wtedy, gdy sygnały podstawowe są niejednoznaczne. Większość tego, co sprawia, że ASA jest wykonalna do badania i modelowania, to warstwa podstawowa.

Jednoczesne grupowanie: co należy razem w danym momencie

W jednym momencie, słuchawka raportuje spektrum wielu składników częstotliwościowych, a pierwszym zadaniem jest ustalenie, które z nich pochodzą od tego samego źródła. Najsilniejszym sygnałem jest harmoniczność: części składowe dźwięku okresowego znajdują się w dokładnych wielokrotnościach częstotliwości podstawowej, a układ słuchowy posiada dedykowane mechanizmy do wykrywania tego wzoru i łączenia wszystkich pasujących części składowych w jeden ton, jedno barwienie, jeden obiekt. Blisko za tym następuje synchronizacja początku i końca - komponenty rozpoczynające się i kończące w ciągu kilku milisekund są uważane za współdzielące tę samą przyczynę, ponieważ dwa niezależne źródła rzadko kiedy zaczynają dokładnie w tym samym momencie. Wspólne modulacja amplitudy i częstotliwości (komponenty kołyszące się razem) oraz, słabiej, współdzielone położenie przestrzenne z różnicami czasu i poziomów między kanałami uzupełniają tę grupę.

Sekwencyjne grupowanie i kompromis van Noorden

Grupowanie w czasie to właśnie przekształca izolowane nuty w melodię lub strumień fonemów w zdanie, a jest ono w dużej mierze regulowane przez bliskość częstotliwości i prędkość. Klasyczna demonstracja polega na alternowaniu dwóch tonów, wysokiego (A) i niskiego (B), w powtarzającym się wzorcu ABAB. Leo van Noorden zmapował wynik percepcji w 1975 roku jako kompromis między rozdzielnością częstotliwościową A i B oraz tempem sekwencji:

ΔF małe, tempo wolne → jeden spójny strumień, słyszany jako „galopujący” rytm ABAB ΔF duże, tempo szybkie → dwa oddzielone strumienie izochronowe (A-A-A... / B-B-B...) względny czas trwania A i B staje się trudny do osądzenia „budowanie” (build-up): siła strumieniowania rośnie w ciągu około 4–10 sekund ciągłego słuchania, chociaż sam bodziec nigdy się nie zmienia Efekt budowania jest najbardziej dziwacznym aspektem tego zjawiska: dwa stałe, niezmienne tony, pulsujące w stałym tempie, brzmią coraz bardziej oddzielnie im dłużej słuchasz, efekt ten jest szeroko przypisywany adaptacji neuronów selektywnych częstotliwościowo lub do kumulacji uprzedzeń uwagi na jednym ze strumieni. Resetuje się prawie całkowicie po krótkiej ciszy lub zmianie uwagi.

ΔF small, tempo slow   → one coherent stream, heard as a "galloping" ABAB rhythm
ΔF large, tempo fast   → two segregated isochronous streams (A-A-A... / B-B-B...)
                          the relative timing of A and B becomes hard to judge
"build-up": streaming strength grows over roughly 4-10 s of continuous listening,
            even though the stimulus itself never changes

Dlaczego ma miejsce efekt koktajlu

Colin Cherry ukuł termin "efekt koktajlu" w 1953 roku, opisując zdolność do śledzenia jednej rozmowy w pomieszczeniu pełnym innych osób, a ASA dostarcza mechanizm pod spodem: prymitywna grupacja segreguje mieszaninę na kandydackie strumienie – jeden na mówcę, w przybliżeniu – zanim uwaga zostanie zaangażowana, a selektywna uwaga następnie wybiera którykolwiek z już oddzielonych strumieni do śledzenia. Ta sama maszyna grupowania wyjaśnia rekonstrukcję fonemów, gdzie słowo z wymazywanym sylabą spowodowanym kaszlnięciem jest słyszane jako kompletne, ponieważ system słuchowy wnioskuje, że brakujący energia należy do bieżącego strumienia mowy, i wyjaśnia, dlaczego utwór na wiolonce Johannesa Sebastianego może implikować dwie niezależne linie melodyczne z jednego instrumentu grającego jedną nutę naraz – szerokie, wahające się przejścia między rejestrem wysokim a niskim są, akustycznie, dokładnie tym bodźcem van Noorden, który powoduje segregację strumieni.

Modelowanie go obliczeniowo

Systemy obliczeniowej analizy słuchowej (OSA) starają się odtworzyć te wskazówki algorytmicznie: wykres cochleary lub krótkoterminowy transformat Fourier end-of-line szacuje energię czasowo-częstotliwową, analiza autokorelacji lub cepstralna szacuje okresowość i harmoniczność, detektory początków oznaczają synchronizowaną energię, a wskazówki interauralne szacują kierunek. Sieci korelacji oscylacyjnej, w szczególności praca DeLianga Wang i Guya Browna, wykorzystywały sprzężone neuralne oscylatory, których fazowa blokada bezpośrednio naśladowała grupowanie percepcyjne. Tak zaprojektowane kanały były standardowym podejściem w słuchawkach i rozpoznawaniu mowy dla dwóch dekad. Współczesna separacja źródeł w dużej mierze przeniosła się do głębokich sieci trenowanych end-to-end (grupowanie głębokie, trening niezmienny permutacji, conv-TasNet), które uczą się własnych statystyk grupowania z danych — ale cel, którego nieświadomie uczą się odtwarzania, jest tym samym zestawem wskazówek katalogowanych przez Bregmana, a eksperymenty ASA pozostają standardowym sposobem weryfikacji, czy błędy systemu separacji wyglądają ludzko, czy tylko numerycznie małe.

Frequently asked questions

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Auditory Scene Analysis i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.