Парадокс Сімпсона: як тенденція може повністю обернутися при агрегації даних

Що таке парадокс Сімпсона насправді

Парадокс Сімпсона виникає, коли тенденція, наявна в кожній підгрупі даних, зникає — або повністю обертається — при об'єднанні підгруп. Названий на честь Едварда Сімпсона (1951), хоча цей ефект був помічений на десятиліття раніше Карлом Пірсоном та Юдні Юлом. Формально можливо, щоб водночас виконувались обидва ці твердження:

Це не парадокс арифметики — математика тут цілком узгоджена — це парадокс інтуїції: ми очікуємо, що об'єднання «краще в кожному випадку» дасть «краще загалом», і ця інтуїція просто помилкова, щойно розміри підгруп незбалансовані.

Справа про вступ до Каліфорнійського університету в Берклі

Найвідоміший реальний приклад: у 1973 році загальні показники вступу до аспірантури Берклі показували, що чоловіків приймали зі значно вищою частотою, ніж жінок — розрив, достатній, щоб спричинити судовий позов. Але коли Бікель, Хеммел та О'Коннелл (1975) розбили дані за кафедрами, жінок приймали з вищою або рівною частотою на більшості окремих кафедр.

Пояснення: жінки непропорційно частіше подавали заявки на конкурентні кафедри (як C, з прийомом ~35% загалом), тоді як чоловіки непропорційно частіше подавали заявки на менш конкурентні (як A і B, з прийомом >60%). Вибір кафедри був змішувальною змінною, через яку агрегований показник активно вводив в оману щодо упередженості на рівні кафедр.

Змішувальні змінні: прихована третя змінна

Механізм, що лежить в основі кожного парадоксу Сімпсона, — змішувальна змінна Z, яка впливає і на змінну «лікування», і на результат, і при цьому нерівномірно розподілена між групами порівняння. У термінах причинних діаграм:

У справі Берклі Z = кафедра, X = стать заявника, Y = прийом. Кафедра впливала і на те, представники якої статі частіше подавали заявки (X), і на базову частоту прийому (Y) — підручниковий приклад змішування.

Якому числу довіряти?

Універсального правила немає — все залежить від причинної структури, і помилка тут може бути справді шкідливою:

• Довіряйте розбитому за підгрупами результату, коли групувальна змінна є справжньою змішувальною змінною — щось, що причинно впливає і на призначення, і на результат, як вибір кафедри вище.
• Довіряйте агрегованому результату, коли групувальна змінна сама є наслідком лікування («колайдер» чи медіатор) — умовляння на ній може внести упередженість, якої не було в сирих даних.

Мінімальне обернення на JavaScript

// Дві групи, кожна показує A > B, але об'єднані підсумки обертають порядок
const groupSmall = { A: { success: 81, total: 87 }, B: { success: 234, total: 270 } };
const groupLarge = { A: { success: 192, total: 263 }, B: { success: 55, total: 80 } };

function rate(g) { return g.success / g.total; }

console.log("Малий випадок:", rate(groupSmall.A).toFixed(3), "проти", rate(groupSmall.B).toFixed(3));
console.log("Великий випадок:", rate(groupLarge.A).toFixed(3), "проти", rate(groupLarge.B).toFixed(3));

const combinedA = { success: groupSmall.A.success + groupLarge.A.success, total: groupSmall.A.total + groupLarge.A.total };
const combinedB = { success: groupSmall.B.success + groupLarge.B.success, total: groupSmall.B.total + groupLarge.B.total };
console.log("Об'єднано:", rate(combinedA).toFixed(3), "проти", rate(combinedB).toFixed(3));
// A перемагає в обох підгрупах окремо, але B перемагає при об'єднанні —
// тому що A отримав більшість своїх даних із «важчої», низькочастотної групи

Виявлення парадоксу у власних даних

Перш ніж довіряти агрегованому порівнянню, перевірте наявність правдоподібної змішувальної змінної і стратифікуйте за нею:

1. Обчисліть загальний ефект (агреговані частоти для кожної групи).
2. Визначте потенційні змішувальні змінні — все, що правдоподібно впливає і на те, до якої групи потрапляє точка даних, і на результат.
3. Стратифікуйте за кожним кандидатом і перерахуйте ефект у межах страт.
4. Якщо знак змінюється, у вас парадокс Сімпсона — намалюйте причинну діаграму, щоб вирішити, чи агрегована, чи стратифікована оцінка відповідає на ваше справжнє питання.

Де трапляється парадокс Сімпсона

• Клінічні випробування: лікування може виглядати гіршим загалом, будучи кращим у кожній віковій чи груповій категорії ризику, якщо важче хворі пацієнти непропорційно частіше його отримували (класичне дослідження лікування ниркових каменів демонструє саме це).
• Ефективність вакцини під час пандемії: частота захворюваності за статусом вакцинації може обертатися з часом просто тому, що вакциновані й невакциновані популяції зміщені до різних вікових груп з дуже різним базовим ризиком.
• Вступ до університетів і найм: справа Берклі та її численні нащадки в аналізі гендерного розриву в оплаті та частоті найму.
• Спортивна статистика: гравець може мати вищий середній показник відбивання, ніж інший, у кожному сезоні окремо, але нижчий кар'єрний середній показник, якщо кількість подач сильно відрізняється по сезонах.
• A/B-тестування: варіант вебсайту може перемагати в кожному сегменті трафіку, але програвати загалом, якщо склад сегментів відрізняється між тестовими групами.