Аналіз звукового простору: Як ми чуємо окремі звуки

Одна суміш – багато джерел

Все, що насправді відбувається в кімнаті – грають скрипку, гуде холодильник, розмовляють двоє людей – барабанні перетинки потрапляють лише на барабанну перетинку, сумою всіх джерел, доданих у повітрі. У колірнику немає розділення каналів. Проте слухачі без зусиль чують скрипку, гул та два голоси як чотири окремі об'єкти. Психолог Альберт Брэгман назвав цю проблему розкладанням – аналіз звукового сцени (АСЗ) – у своїй книзі 1990 року того ж імені, свідомо порівнюючи її з законами групування Гештальт, які пояснюють, як око організовує безліч ліній у окремі фігури – лише вухо має робити це одночасно з часом і з частотою.

Брэгман розділив механізм на два типи процесів. Примітивне групування є швидким, автоматичним і присутнім з народження – воно спирається на статистичні закономірності, які майже завжди справедливі для одного реального звукового джерела. Групування на основі схем – це те, що вивчається та залежить від знань – дозволяє досвідченому слухачу відстежувати знайому мелодію або відомий голос у суміші, навіть якщо примітивні підказки нечіткі. Більшість того, що робить АСЗ доступною для вивчення та моделювання, визначається примітивним шаром.

Одночасне групування: що належить разом зараз

У певний момент кохлея повідомляє про спектр багатьох частотних компонентів, і перша задача – вирішити, з якого джерела походять ці компоненти. Найсильнішим сигналом є гармонічність: частки періодичного звуку знаходяться на точних цілих кратних фундаментальної частоти, і система слуху має спеціальне обладнання для виявлення цього шаблону та об'єднання всіх відповідних часток в один тон, один тембр, один об’єкт. Другий за силою сигнал – синхронність початку та закінчення компонентів, коли компоненти починають і зупиняються протягом декількох мілісекунд один одного, це припускається, що вони походять з одного джерела, оскільки два незалежних джерела майже ніколи не починають одночасно. Поширені модуляція амплітуди та частоти (компоненти, які коливаються разом), а також, слабше, спільне просторове розташування за допомогою різниць часу та рівня між вухами, доповнюють цей набір.

Послідовне групування та компроміс ван Ноордена

Послідовне групування перетворює ізольовані ноти на мелодію або потік фонем на речення, і воно в значній мірі регулюється близькістю частот та швидкістю. Класична демонстрація використовує два тони – високий (A) та низький (B), які повторюються у схемі ABAB. Лео ван Ноорден описав сприйнятливий результат у 1975 році як компроміс між частотною різницею між A та B і темпом послідовності:

ΔF малий, темп повільний → одна узгоджена стріма, що сприймається як «скакунчатий» ритм ABAB ΔF великий, темп швидкий → дві відокремлені ізохронні стріми (A-A-A... / B-B-B...) відносна часова координація між A та B стає важкою для оцінки "будівельний ефект": сила потоку нарощується протягом приблизно 4-10 секунд безперервного прослуховування, незважаючи на те, що стимул сам по собі не змінюється Будівельний ефект є найдивнішою частиною явища: два постійні, незмінні тони, які чергуються з фіксованим темпом, стають все більш відокремленими з плином часу, що сприймається як результат адаптації у частотно-селективних нейронах або накопичення уваги до одного з двох потоків. Він майже повністю відновлюється після короткої паузи або зміни уваги.

ΔF small, tempo slow   → one coherent stream, heard as a "galloping" ABAB rhythm
ΔF large, tempo fast   → two segregated isochronous streams (A-A-A... / B-B-B...)
                          the relative timing of A and B becomes hard to judge
"build-up": streaming strength grows over roughly 4-10 s of continuous listening,
            even though the stimulus itself never changes

Чому працює ефект "мікси" (cocktail party effect)

Колін Чері в 1953 році запровадив термін "ефект коктейльної вечірки", щоб описати здатність слідувати за однією розмовою серед багатьох інших, а ASA надає механізм, що лежить в основі цього явища: просте групування розділяє суміш на окремі потоки – один для кожного мовця, приблизно – до того, як бере участь увага, і вибіркова увага просто обирає, який з уже відрізних потоків слідкувати.

Те саме механізм групування пояснює явище фонового відновлення, коли слово з приглушеним силеном через кашель сприймається як повне, оскільки слухова система виводить, що відсутня енергія належить до триваючої мовленнєвої послідовності, і це пояснює, чому концерт Баха для скрипки може передбачати дві незалежні мелодичні лінії від одного інструменту, який грає по одній ноті за раз – широкі, чергуючі стрибки між високим та низьким регістром акустично є точно таким же стимулом ван Ноордена, що викликає розділення потоків.

Моделювання це обчислювально

Обчислювальний аналіз звукових сцен (ОАС) системи намагаються відтворити ці сигнали алгоритмічно: кохлеграма або короткочасний Фур'є-передпідсилювач оцінюють часово-частотну енергію, автокореляція чи цепстріальний аналіз оцінюють періодичність та гармонічність, детектори появи сигналів виявляють синхронну енергію, а інтераудіальні сигнали оцінюють напрямок. Ослаблювані нейронними осциляторами мережі, зокрема роботи ДеЛіанга Ванґа та Гая Брауна, які використовували фазове блокування, що імітувало сприйняття групування, були стандартним підходом у слухових аппаратах та надійному розпізнаванні мови протягом двох десятиліть. Сучасне розділення джерел значною мірою перейшло до глибоких мереж, навчених кінець-в-кінець (глибоке кластерування, навчання з незмінністю щодо перестановок, conv-TasNet), які навчаються власних статистик групування на основі даних – але ціль, яку вони несвідомо навчаються відтворювати, все ще складається з тих сигналів, що каталогізував Брегман, а експерименти ОАС залишаються стандартним способом перевірки того, чи виглядають помилки системи розділення схожими на людські або просто чисельно малими.

Frequently asked questions

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Auditory Scene Analysis і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.