Ефект Макґурка: Коли Ваші Очі Змінюють Те, Що Ви Чуєте

Слухаючи очима

Відтворіть аудіо "ба", показуючи відео з чітко артикульованим ротом, що вимовляє "га". Більшість слухачів повідомляють, що чують третє звучання — "да", яке не відповідає жодному з аудіо чи відео треків окремо. Відкритий Гаррі Макґерком та Джона Мейколда у 1976 році (спочатку випадково, під час дублювання невідповідного інфантичного мовлення для несхожого дослідження), ефект Макґерка є одним із найбільш надійних демонстрацій психології того, що сприйняття мови є в своїй основі мультичусовим: мозок не просто чує фонеми, він інтегрує звук з видимим артикуляційним рухом і робить це автоматично, навіть у людей, які точно знають, що відбувається, та намагаються не піддатися оманливій дії".

Чому злиття потрапляє на "да"

Конкретний злитий відчуття не є випадковим. Звуки частково визначаються місцем артикуляції — де в роті відбувається закриття. /b/ – білатерний (губи разом), /g/ – медіальний (задню частину язика проти м’якого неба), а /d/ – альвеолярний (язик проти гребеня перед верхнім зубом) — акустично та візуально між двома іншими. Коли вуха повідомляють про білатерний сигнал, а очі – про медіальний, мозок часто робить висновок про проміжне альвеолярне положення, що призводить до класичного злиття /b/-звуку + /g/-відео → /d/-відчуття. Інші аудіо-візуальні пари створюють комбінаційні відповіді замість злиття (наприклад, звук /g/ + відео /b/ часто чується як "bga"), що пояснює, чому дослідники розглядають ефект Макґерка як доказ справжньої перцептивної інтеграції, а не просто того, що мозок обирає канал, який він більше довіряє.

Байєсова комбінація сигналів

Сучасне обчислювальне формулювання сприймає слухове сприйняття як байєсову комбінацію сигналів: мозок містить шумливі, невизначені оцінки фонетичного звука, отриманого з аудіоканалу та візуального каналу окремо, і поєднує їх з вагою, що приблизно відповідає надійності кожного каналу — формалізація, близька до загального принципу оптимальної мультичусової інтеграції, продемонстрованого в багатьох чуттєвих областях (наприклад, у оцінках візуально-керованих розмірів і положення), де більш надійні органи мають більшу вагу та сукупне сприйняття має меншу невизначеність, ніж будь-який з органів окремо.

fused percept ∝ likelihood(audio | phoneme) × likelihood(video | phoneme)
                × prior(phoneme)

when audio strongly implies /b/ and video strongly implies /g/,
neither channel dominates outright — the posterior often peaks at the
intermediate place of articulation, /d/, rather than at either input

Це виживає знаючи хитринку

Істотно відрізняючись від багатьох когнітивних ілюзій, які слабшають після пояснення, ефект МакГурка майже не зменшується навіть тоді, коли слухач отримує точну інформацію про те, що відбувається, та намагається сприйняти справільне аудіо-звук – це сильний доказ того, що аудіовізуальне об’єднання мови відбувається на ранній, переважно автоматичній стадії сприйняття, а не на пізній, яку можна контролювати когнітивно, стадії свідомого судження.

Однак, закриття очей миттєво усуває його, оскільки він повністю залежить від наявності та уваги до візуальних артикуляторних входів.

Не є універсальним, і клінічно інформативним

Схильність до ефекту Макґерка варіюється залежно від мови, культури та віку (зазвичай слабша у маленьких дітей та в деяких тональних мовних популяцій, а також відрізняється між мовами з різними фонетичними інвентурами та різним обсягом природного наявності аудіо-візуальної мови), і її сила стала дослідницьким інструментом: знижена схильність до ефекту Макґерка вивчається як маркер зміненої аудіо-візуальної інтеграції при розладах аутистичного спектру, а ефект використовується ширше для дослідження того, як і коли розвиваючийся мозок починає об'єднувати слухові та візуальні мовні сигнали в єдильне сприйняття, оскільки немовлята демонструють знижений злиття порівняно зі свідомими.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте McGurk Effect і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.