Формантна синтез: побудова голосних з гудіння та фільтра

Джерело-фільтр: гучний звук, перетворений на голосний

Класична модель вокальної артикуляції людини розділяє голосову систему на два незалежні етапи. Джерело – гортань – вібрація голосових складок, що відкриваються та закриваються, виробляє гучний, гармонійно багатий імпульсний сигнал на основній частоті F0 (відчувається як висота тону). Фільтр – гортанний місток над гортанню – шия, рот, язик, губи – труба змінного поперечного перерізу, яка резонує на частотах, залежних від її форми, підсилюючи деякі гармоніки джерела та приглушуючи інші. У результаті виходить спектр джерела, помножений на частотну характеристику фільтра; зміна джерела призводить до зміни висоти тону без зміни голосника, а зміна форми фільтра призводить до зміни голосника без зміни висоти тону. Це розділення пояснює, чому модель джерело-фільтр, сформована Гуннаром Фантом у 1960-х роках, залишається основою майже для всіх синтезів голосної мови.

Форманти: резонанси голосового тракту

Голосовий тракт поводиться акустично як труба, закрита з одного боку (гортань) та відкрита з іншого (губи), а така труба має ряд резонансних частот, що називаються форманти, позначених F1, F2, F3... в порядку зростання. Для голосового тракту довжиною приблизно 17 см форманти знаходяться близько непарні кратчі c/4L (~500 Гц, 1500 Гц, 2500 Гц для нейтрального schwa), але положення язика та округлення губ суттєво їх зміщують: підняття та передження язика (як у «ee») різко підвищує F2, а зниження F1. Простір голосних мови будь-якої мови є по суті площиною F1-F2, і голосні, які звучать відрізнуто, займають різні кути на ній.

vowel   F1 (Hz)   F2 (Hz)      description
/i/ ee    270       2290     tongue high & front
/a/ ah    730       1090     tongue low & back-ish
/u/ oo    300        870     tongue high & back, lips rounded

Побудова формантної синтетичної системи

Формантна синтетична система генерує джерело голосу безпосередньо – зазвичай, модель Liljencrants-Fant або простіший імпульсно-кроковий варіант, сформований таким чином, щоб мати правильний спектральний нахил – і потім пропускає його через фільтрний банк резонаторів, один для кожного форманту, кожен з яких є другим порядком за межами – налаштований на центр частоти та ширину смуги. Поєднання трьох до п’яти таких резонаторів та підсумовування (або поєднання) їхніх виходів відтворює спектральне обертання цільового голосу достатньо близько, щоб бути зрозумілим і, при ретельному налаштуванні, природним звучанням. Прилади (коротисти) обробляються окремими моделями джерела: негубні тризвуки ("s", "f") замінюють періодичний гуч голосу на відфільтрований турбулентний шум, згенерований у вузькому місці, а притиски ("p", "t", "k") моделюються як коротка тиша (закриття) за якою слідує вибух шуму.

Заголовок

Нормальна гуbка мова використовує квазіперіодичне регулярне джерело глибокого голосозапиту, і саме ця періодичність дає мові висоту. Шепіт замінює періодичну вібрацію на закриті разом голосові складки, але не вібруючі, тому потік повітря через вузький проміжок стає турбулентним і джерело стає широкосмуговим шумом замість гармонійного гулу — немає F0, немає висоти, але фільтр голосової трубки вище нього все ще формує цей шум у розпізнавані ті ж самі голоси, оскільки форманти залежать від форми трубки, а не від джерела.

Чому це все ще перевершує наївне відтворення для багатьох застосувань

Сучасні комерційні системи переважно використовують конкатативне або нейронне (стиль WaveNet, дифузія чи авторегресійне) синтезування, навчене на великих записаних корпусах, оскільки вони звучать значно природніше. Проте модель з джерельним фільтром і фронтальному представленні формантів залишається цінною завдяки своїй повноцінковій параметричності та фізичній інтерпретованості: кожен контроль (F0, F1-F3, довжина тракту, голос) має пряме артикуляторне значення, не потребує навчальних даних чи корпусу, працює в режимі реального часу на простому обладнанні і дозволяє плавно змінювати форму голосу між приголосами або підсилювати параметр – що саме пояснює, чому він виживає в інструментах доступності, кодуваннях звуку для телекомунікаційного каналу (вокодери) та інтерактивних демонстраційних платформах, таких як ця.

Frequently asked questions

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Voice Synthesis і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.