Spotlight #70: Dźwięk i percepcja — synteza spektralna, tony Sheparda i psychoakustyka

W 1964 roku kognitywista Roger Shepard opublikował krótki artykuł opisujący dźwięk, który zdawał się wznosić w nieskończoność, cyklicznie wracając do punktu wyjścia, nigdy się nie rozwiązując. Słuchacze nie mogli dojść do zgody co do liczby stopni w tej skali, czy jest wznosząca się czy opadająca, ani gdzie się „kończy" — ponieważ się nie kończyła. Ton Sheparda nie był sztuczką ani iluzją w żadnym pejoratywnym sensie; był poprawną reakcją percepcyjną na starannie skonstruowaną strukturę spektralną. Aby zrozumieć, dlaczego to działa, trzeba najpierw zrozumieć, jak ucho i mózg dekodują wysokość dźwięku w zwykłych dźwiękach — a ta historia zaczyna się od szeregu harmonicznego.

I. Synteza addytywna i szereg harmoniczny

Każdy instrument muzyczny wytwarza złożony, okresowy przebieg falowy. Twierdzenie Fouriera gwarantuje, że każdy sygnał okresowy można rozłożyć na sumę sinusoid, których częstotliwości są całkowitymi wielokrotnościami częstotliwości podstawowej f₀. Te całkowite wielokrotności nazywane są harmonicznymi lub składowymi cząstkowymi, a razem definiują widmo dźwięku. Flet i skrzypce grające tę samą nutę A440 wytwarzają tę samą częstotliwość podstawową, ale zupełnie inne amplitudy harmonicznych — dlatego brzmią inaczej.

Szereg Fouriera sygnału okresowego x(t):
  x(t) = A₀ + Σₙ [ Aₙ cos(2π n f₀ t) + Bₙ sin(2π n f₀ t) ]
       = A₀ + Σₙ Cₙ cos(2π n f₀ t + ϕₙ)

gdzie:
  n       : numer harmonicznej (1, 2, 3, ...)
  f₀      : częstotliwość podstawowa (Hz)
  Cₙ = √(Aₙ² + Bₙ²)  : amplituda n-tej harmonicznej
  ϕₙ = atan2(-Bₙ, Aₙ) : faza n-tej harmonicznej

Kształty przebiegów z struktury harmonicznej:
  Fala sinusoidalna : tylko n=1 (ton czysty)
  Fala prostokątna  : tylko harmoniczne nieparzyste; Cₙ = 4/(πn)
  Fala piłokształtna: wszystkie harmoniczne;       Cₙ = 2/(πn)  (naprzemienny znak)
  Fala trójkątna    : tylko harmoniczne nieparzyste;  Cₙ = 8/(π²n²)

Synteza addytywna to bezpośrednie praktyczne zastosowanie tej zasady: zbuduj dowolną barwę dźwięku, sumując sinusoidy. Chcesz bogatszego, bardziej „blaszanego" brzmienia? Dodaj więcej wysokoczęstotliwościowych harmonicznych. Chcesz czegoś pustego, przypominającego flet? Wytłum harmoniczne parzyste. Szereg harmoniczny to paleta, a współczynniki Fouriera to kolory.

Co mózg robi z widmem

Układ słuchowy nie mierzy częstotliwości bezpośrednio. Błona podstawna w ślimaku wykonuje mechaniczną analizę częstotliwości — różne miejsca wzdłuż błony rezonują z różnymi częstotliwościami, wysokie częstotliwości u podstawy, a niskie na wierzchołku. Mózg otrzymuje przestrzenną mapę energii spektralnej, a nie pojedynczą wartość wysokości dźwięku. Musi więc wywnioskować odbieraną wysokość dźwięku z tej mapy.

Dla dźwięku harmonicznego proces ten nazywa się estymacją częstotliwości podstawowej. Układ słuchowy szuka wspólnego dzielnika pików widma. Jeśli słyszysz składowe cząstkowe na 400 Hz, 600 Hz, 800 Hz i 1000 Hz, największy wspólny dzielnik wynosi 200 Hz i odbierasz wysokość dźwięku 200 Hz — nawet jeśli na 200 Hz nie ma żadnej energii. To zjawisko, nazywane brakującą podstawową, sprawia, że mały głośnik telefonu może zrozumiale odtworzyć basowe głosy, mimo że fizycznie nie jest zdolny do wytworzenia drgań 100 Hz. Harmoniczne powyżej 300 Hz są obecne; mózg dopełnia resztę.

II. Glissando Shepard-Risset — nieskończone schody

Oryginalny dyskretny ton Sheparda został rozwinięty przez kompozytora Jean-Claude'a Risseta w ciągłe, nieustannie wznoszące się lub opadające glissando — glissando Shepard-Risset. Aby to zrozumieć, wyobraź sobie słup fryzjerski: paski zawsze wydają się poruszać w górę, ale słup jest skończony. Ton Sheparda to słuchowy odpowiednik.

Konstrukcja wymaga dwóch jednoczesnych manipulacji: przesunięcia wysokości dźwięku i obwiedni amplitudy o kształcie krzywej dzwonowej rozciągniętej na rejestr oktawowy.

Konstrukcja tonu Sheparda (wersja dyskretna):
  N tonów, każdy oddzielony o jedną oktawę: fₙ = f₀ × 2ₙ
  Wszystkie tony mają tę samą klasę wysokości (chromę), wznoszącą się unisono.

  Amplituda tonu n w czasie t:
    Aₙ(t) = G( log₂(fₙ(t)) )
  gdzie G to obwiednia w kształcie dzwonu (Gaussa) nad log-częstotliwością:
    G(x) = exp( -(x - μ)² / (2σ²) )
    μ : środek dzwonu (stały, zwykle oktawa środkowa)
    σ : szerokość dzwonu (zwykle 1,5 oktawy)

  Gdy klasa wysokości wznosi się o półton:
    - najwyższy ton zanika (opuszcza szczyt dzwonu)
    - nowy najniższy ton pojawia się (wchodzi w dolną część dzwonu)
    - odbierana wysokość dźwięku wzrasta
    - spektralny środek masy pozostaje stały
    - powrót do początku jest percepcyjnie bezszwowy

Kluczową obserwacją jest rozdzielenie dwóch odrębnych atrybutów wysokości dźwięku, które normalnie zmieniają się razem: chromy (klasy wysokości: C, D, E… niezależnie od oktawy) i wysokości rejestru (bezwzględnego rejestru, niskiego lub wysokiego). W zwykłej skali melodycznej obie zmieniają się razem — gdy wznosisz się o półton, rośnie zarówno chroma, jak i wysokość rejestru. Ton Sheparda zmienia tylko chromę. Obwiednia amplitudy zapewnia, że ogólny spektralny środek masy — a więc odbierana wysokość rejestru — pozostaje stały, podczas gdy chroma kończy swój dwunastostopniowy cykl i wraca do punktu wyjścia.

Dlaczego mózg daje się oszukać

Algorytm ekstrakcji wysokości dźwięku układu słuchowego wyewoluował w świecie, w którym chroma i wysokość rejestru są sprzężone. Gdy zostają rozdzielone, mózg wykorzystuje wznoszącą się chromę jako główną wskazówkę i ekstrapoluje wznoszącą się wysokość dźwięku, ignorując stabilną wskazówkę wysokości rejestru pochodzącą z ogólnej obwiedni spektralnej. Iluzja jest odporna: utrzymuje się nawet wtedy, gdy słuchaczom dokładnie wyjaśni się, jak działa. Co ciekawe, kierunek — wznoszący się lub opadający — który słuchacze słyszą w niejednoznacznych wersjach tonu Sheparda, słabo koreluje z tłem językowym: mówcy języków o opadającej intonacji zdań, mają tendencję do słyszenia niejednoznacznych tonów Sheparda jako opadające częściej niż mówcy języków o intonacji wznoszącej.

Ciągłe glissando (Risset):
  Zastąp dyskretne tony ciągłymi zamiataniami sinusoidalnymi.
  Każda składowa zamiata od f₀ do 2f₀ (jedna oktawa) w czasie T,
  a następnie resetuje się do f₀ — ale w sposób ciągły fazowo, więc reset jest niesłyszalny.
  Wiele składowych rozłożonych w czasie, każda modulowana przez G.

  Odbierana wysokość dźwięku: zawsze wznosząca się (lub zawsze opadająca w wersji odwróconej)
  Rzeczywisty środek spektralny: stały
  Okres iluzji: T sekund (bezszwowa pętla)

III. Ograniczenia psychoakustyczne i pasmo krytyczne

Ton Sheparda wykorzystuje przetwarzanie spektralne układu słuchowego, ale istnieją też inne ograniczenia tego, co możemy usłyszeć, a czego nie. Najważniejsze z nich to pasmo krytyczne: rozdzielczość częstotliwościowa banku filtrów ślimakowych. Dwa czyste tony bliższe niż szerokość pasma krytycznego oddziałują percepcyjnie — zamiast dwóch odrębnych wysokości dźwięku słyszysz pojedynczy ton z fluktuacjami amplitudy zwanymi dudnieniami.

Szerokość pasma krytycznego (przybliżenie skali Barka):
  ERB(f) = 24,7 × (4,37×10⁻³ × f + 1)   (w Hz)
  gdzie f to częstotliwość środkowa w Hz

  Przykłady:
    f = 100 Hz  → ERB ≈ 35 Hz
    f = 1000 Hz → ERB ≈ 133 Hz
    f = 4000 Hz → ERB ≈ 510 Hz
    f = 8000 Hz → ERB ≈ 1040 Hz

Częstotliwość dudnień, gdy dwa tony f₁ i f₂ są bliżej niż ERB:
  f_dudnienia = |f₁ - f₂|
  Odbierane jako: modulacja amplitudy z częstotliwością f_dudnienia Hz
  Punkt optymalny dla szorstkości: f_dudnienia ≈ 0,25 × ERB(f_środkowa)

Pasma krytyczne wyjaśniają kilka zagadkowych zjawisk muzycznych. Interwały konsonansowe — oktawa, czysta kwinta, tercja wielka — to te, których harmoniczne albo dokładnie się pokrywają, albo trafiają w oddzielne pasma krytyczne, nie tworząc dudnień. Interwały dysonansowe skupiają harmoniczne blisko siebie w obrębie tego samego pasma krytycznego, generując słyszalną szorstkość. Szereg harmoniczny i skala muzyczna nie są arbitralnymi konwencjami kulturowymi; odzwierciedlają rozdzielczość spektralną ludzkiego ślimaka.

To także wyjaśnia, dlaczego ton Sheparda wykorzystuje składowe rozłożone w odstępach oktawowych, a nie na przykład w odstępie trytonu. Sinusoidy rozłożone w odstępach oktawowych trafiają zgrabnie w oddzielne pasma krytyczne w całym słyszalnym zakresie, więc są przetwarzane jako niezależne obiekty spektralne. Gdyby były rozłożone bliżej siebie, oddziaływałyby w obrębie tego samego pasma krytycznego i iluzja by się załamała — słuchacz usłyszałby dudnienia zamiast płynnej zmiany wysokości dźwięku.

Wypróbuj sam

Najlepszym sposobem na przyswojenie tych idei jest bezpośrednia manipulacja widmami i słuchanie wyników. Te symulacje pozwalają eksperymentować ze wszystkim, co omówiono powyżej.

Myśl na zakończenie

Ton Sheparda jest filozoficznie niewygodny w produktywny sposób. Pokazuje, że wysokość dźwięku — jedna z najbardziej bezpośrednich, pozornie obiektywnych cech dźwięku — nie jest właściwością samej fali dźwiękowej. To konstrukcja wykonywana przez mózg na podstawie wzorców spektralnych i wbudowanych założeń o tym, jak te wzorce powstają w naturalnym świecie. Gdy te założenia zostają naruszone przez starannie zaprojektowany bodziec, mózg wytwarza percept, który jest fizycznie niemożliwy.

Synteza addytywna i szereg harmoniczny to formalny język, który umożliwia takie konstrukcje. Gdy tylko zrozumiesz, że każdy dźwięk to po prostu ważona suma sinusoid — a układ słuchowy zasadniczo wykonuje odwrotną transformatę Fouriera na wyjściu błony podstawnej — masz narzędzia do projektowania dźwięków, które robią to, czego zwykłe instrumenty nie potrafią: tony spiralnie wznoszące się w nieskończoność, akordy, które wydają się jednocześnie konsonansowe i napięte, barwy dźwięku, które zmieniają się bez żadnej zmiany wysokości. Matematyka słuchu nie jest oddzielona od muzyki; to głębsza struktura, którą muzyka zawsze nawigowała, niezależnie od tego, czy kompozytor o tym wiedział.