Спотлайт #70: Звук і сприйняття — спектральний синтез, тони Шепарда та психоакустика

У 1964 році когнітивний науковець Роджер Шепард опублікував коротку статтю, що описувала звук, який, здавалося, нескінченно підвищувався у висоті тону, циклічно повертаючись до початкової точки, так і не «вирішуючись». Слухачі не могли дійти згоди щодо того, скільки щаблів містить ця гама, чи вона висхідна, чи низхідна, і де вона «закінчується» — тому що вона не закінчувалася. Тон Шепарда не був трюком чи ілюзією в жодному негативному сенсі; це була коректна перцептивна реакція на ретельно сконструйовану спектральну структуру. Щоб зрозуміти, чому це працює, спершу потрібно зрозуміти, як вухо й мозок декодують висоту тону у звичайних звуках — а ця історія починається з гармонічного ряду.

I. Адитивний синтез і гармонічний ряд

Кожен музичний інструмент видає складну періодичну хвильову форму. Теорема Фур’є гарантує, що будь-який періодичний сигнал можна розкласти на суму синусоїд, частоти яких є цілими кратними основної частоти f₀. Ці цілі кратні називаються гармоніками, або парціалами, і разом вони визначають спектр звуку. Флейта і скрипка, що грають ту саму ноту ля440, видають ту саму основну частоту, але зовсім різні амплітуди гармонік — саме тому вони звучать по-різному.

Ряд Фур'є періодичного сигналу x(t):
  x(t) = A₀ + Σₙ [ Aₙ cos(2π n f₀ t) + Bₙ sin(2π n f₀ t) ]
       = A₀ + Σₙ Cₙ cos(2π n f₀ t + ϕₙ)

де:
  n       : номер гармоніки (1, 2, 3, ...)
  f₀      : основна частота (Гц)
  Cₙ = √(Aₙ² + Bₙ²)  : амплітуда n-ї гармоніки
  ϕₙ = atan2(-Bₙ, Aₙ) : фаза n-ї гармоніки

Форми хвилі залежно від гармонічної структури:
  Синусоїда        : лише n=1 (чистий тон)
  Прямокутна хвиля : лише непарні гармоніки; Cₙ = 4/(πn)
  Пилкоподібна     : усі гармоніки;           Cₙ = 2/(πn)  (знак чергується)
  Трикутна         : лише непарні гармоніки;  Cₙ = 8/(π²n²)

Адитивний синтез — це пряме практичне застосування цього принципу: побудуйте будь-який тембр, підсумовуючи синусоїди. Хочете багатший, «мідніший» звук? Додайте більше високочастотних гармонік. Хочете щось порожнисте, схоже на флейту? Приглушіть парні гармоніки. Гармонічний ряд — це палітра, а коефіцієнти Фур’є — кольори.

Що мозок робить зі спектром

Слухова система не вимірює частоту напряму. Базилярна мембрана в равлику виконує механічний частотний аналіз — різні позиції вздовж мембрани резонують на різних частотах: високі частоти біля основи, низькі — біля верхівки. Мозок отримує просторову карту спектральної енергії, а не єдине значення висоти тону. Далі він повинен вивести сприйняту висоту тону з цієї карти.

Для гармонічного звуку цей процес називають оцінкою основної частоти. Слухова система шукає спільний дільник спектральних піків. Якщо ви чуєте парціали на 400 Гц, 600 Гц, 800 Гц і 1000 Гц, найбільший спільний дільник дорівнює 200 Гц, і ви сприймаєте висоту тону 200 Гц — навіть якщо на частоті 200 Гц узагалі немає енергії. Це явище, зване відсутньою основною частотою, пояснює, чому маленький телефонний динамік здатний розбірливо відтворювати басові голоси, попри фізичну нездатність видавати коливання 100 Гц. Гармоніки вище 300 Гц присутні; мозок домальовує решту.

II. Глісандо Шепарда-Ріссе — нескінченні сходи

Початковий дискретний тон Роджера Шепарда розширив композитор Жан-Клод Ріссе до безперервного, нескінченно висхідного або низхідного глісандо — глісандо Шепарда-Ріссе. Щоб це зрозуміти, уявіть перукарський стовп: смуги завжди здаються такими, що рухаються вгору, але сам стовп скінченний. Тон Шепарда — це слуховий еквівалент цього.

Побудова вимагає двох одночасних маніпуляцій: зсуву висоти тону і амплітудної огинаючої, сформованої як дзвоноподібна крива в межах октавного регістру.

Побудова тону Шепарда (дискретна версія):
  N тонів, кожен відрізняється на одну октаву: fₙ = f₀ × 2ₙ
  Усі тони мають той самий клас висоти (хрому), піднімаючись синхронно.

  Амплітуда тону n у момент часу t:
    Aₙ(t) = G( log₂(fₙ(t)) )
  де G — дзвоноподібна (гаусова) огинаюча над логарифмом частоти:
    G(x) = exp( -(x - μ)² / (2σ²) )
    μ : центр дзвону (фіксований, зазвичай середня октава)
    σ : ширина дзвону (зазвичай 1.5 октави)

  Коли клас висоти піднімається на півтон:
    - найвищий тон згасає (виходить за верхню межу дзвону)
    - новий найнижчий тон з'являється (входить у нижню межу дзвону)
    - сприйнята висота тону підвищується
    - спектральний центр мас залишається постійним
    - зациклення до початку є перцептивно безшовним

Ключове спостереження — це розділення двох різних атрибутів висоти тону, які зазвичай змінюються разом: хрома (клас висоти: до, ре, мі… незалежно від октави) і висотність (абсолютний регістр, низький чи високий). У звичайній мелодичній гамі обидва змінюються разом — коли ви піднімаєтесь на півтон, зростають і хрома, і висотність. Тон Шепарда змінює лише хрому. Амплітудна огинаюча гарантує, що загальний спектральний центр мас — а отже, і сприйнята висотність — залишається фіксованим, тоді як хрома завершує свій дванадцятикроковий цикл і повертається до початкової точки.

Чому мозок обманюється

Алгоритм вилучення висоти тону слуховою системою еволюціонував у світі, де хрома і висотність поєднані. Коли вони декорельовані, мозок використовує зростаючу хрому як основний сигнал і екстраполює зростання висоти тону, ігноруючи стабільний сигнал висотності від загальної спектральної огинаючої. Ілюзія стійка: вона зберігається навіть тоді, коли слухачам точно пояснюють, як вона працює. Цікаво, що напрямок — висхідний чи низхідний — який слухачі чують у неоднозначних версіях тону Шепарда, слабко корелює з мовним фоном: носії мов із низхідною інтонацією стверджувальних речень частіше чують неоднозначні тони Шепарда як низхідні, ніж носії мов із висхідною інтонацією.

Безперервне глісандо (Ріссе):
  Замінює дискретні тони безперервними синусоїдальними розгортками.
  Кожен компонент розгортається від f₀ до 2f₀ (одна октава) за час T,
  потім скидається до f₀ — але фазово безперервно, тож скидання нечутне.
  Кілька компонентів зі зсувом у часі, кожен модульований G.

  Сприйнята висота тону: завжди зростає (або завжди спадає в інвертованій версії)
  Фактичний спектральний центр: постійний
  Період ілюзії: T секунд (безшовний цикл)

III. Психоакустичні межі та критична смуга

Тон Шепарда використовує спектральну обробку слухової системи, але існують і інші обмеження на те, що ми можемо чути, а що ні. Найважливіше з них — критична смуга: частотна роздільна здатність равликового банку фільтрів. Два чисті тони, розташовані ближче, ніж критична смуга, взаємодіють перцептивно — замість двох окремих висот тону ви чуєте один тон з амплітудними коливаннями, які називають биттями.

Критична смуга (наближення за шкалою Барка):
  ERB(f) = 24.7 × (4.37×10⁻³ × f + 1)   (у Гц)
  де f — центральна частота в Гц

  Приклади:
    f = 100 Гц  → ERB ≈ 35 Гц
    f = 1000 Гц → ERB ≈ 133 Гц
    f = 4000 Гц → ERB ≈ 510 Гц
    f = 8000 Гц → ERB ≈ 1040 Гц

Частота биття, коли два тони f₁ і f₂ розташовані ближче за ERB:
  f_beat = |f₁ - f₂|
  Сприймається як: амплітудна модуляція на частоті f_beat Гц
  Оптимум шорсткості: f_beat ≈ 0.25 × ERB(f_центр)

Критичні смуги пояснюють кілька загадкових музичних явищ. Консонантні інтервали — октава, чиста квінта, велика терція — це ті, чиї гармоніки або точно збігаються, або потрапляють у різні критичні смуги, не створюючи биття. Дисонантні інтервали упаковують гармоніки близько одна до одної в межах однієї критичної смуги, породжуючи чутну шорсткість. Гармонічний ряд і музична гама — не довільні культурні умовності; вони відображають спектральну роздільну здатність людського равлика.

Це також пояснює, чому тон Шепарда використовує компоненти, розташовані на відстані октави, а не, скажімо, тритона. Синусоїди, розташовані на відстані октави, акуратно потрапляють у окремі критичні смуги в усьому чутному діапазоні, тож обробляються як незалежні спектральні об’єкти. Якби вони були розташовані ближче, вони взаємодіяли б у межах однієї критичної смуги, й ілюзія руйнувалася б — слухач чув би биття замість плавної зміни висоти тону.

Спробуйте самі

Найкращий спосіб засвоїти ці ідеї — маніпулювати спектрами напряму й чути результати. Ці симуляції дозволяють експериментувати з усім, що обговорювалося вище.

Підсумкова думка

Тон Шепарда філософськи некомфортний у продуктивний спосіб. Він демонструє, що висота тону — одна з найбезпосередніших, на перший погляд об’єктивних якостей звуку — не є властивістю самої звукової хвилі. Це конструкція, яку виконує мозок на основі спектральних патернів і жорстко закладених припущень про те, як ці патерни генеруються в природному світі. Коли ці припущення порушуються ретельно розробленим стимулом, мозок створює перцепт, який фізично неможливий.

Адитивний синтез і гармонічний ряд — це формальна мова, яка робить такі конструкції можливими. Щойно ви зрозумієте, що будь-який звук — це просто зважена сума синусоїд, а слухова система по суті виконує обернене перетворення Фур’є над вихідним сигналом базилярної мембрани, — ви отримуєте інструменти для створення звуків, які роблять те, чого не можуть звичайні інструменти: тони, що нескінченно закручуються вгору, акорди, які здаються одночасно консонантними й напруженими, тембри, що змінюються без жодної зміни висоти тону. Математика слуху не відокремлена від музики; це глибша структура, якою музика завжди керувалася, знав про це композитор чи ні.