📉 Регресія до Середнього
Регресія до середнього: екстремальні результати схильні наближатися до середнього при повторному вимірі — і чому це плутають із причинністю.
Про цю симуляцію
Ця симуляція генерує N пар корельованих оцінок (x, y) з двовимірного нормального розподілу з кореляцією ρ, використовуючи перетворення Бокса-Мюллера для отримання стандартних нормальних значень і y = ρ·x + √(1−ρ²)·z. Потім вона вибирає найкращу за X частку (за пороговим значенням %) і показує, як їхня середня оцінка Y повертається до популяційного середнього — реальне статистичне явище, що стоїть за спортивними спадами, ефектом плацебо в медицині та помилковими оцінками програм.
🔬 Що це показує
Точкова діаграма (або гістограма) оцінок першого та другого періоду для до 600 змодельованих осіб, де найкращі X% виконавців за X виділені жовтим. Фіолетова лінія показує справжнє умовне сподівання E[Y|X] = ρ·X, сіра пунктирна лінія позначає Y=X для порівняння, а червона стрілка показує розрив між середнім X вибраної групи та їхнім фактичним середнім Y — саме цей ефект регресії.
🎮 Як користуватися
Перетягуйте Кореляцію ρ (від −1 до 1), щоб змінити, наскільки сильно пов'язані оцінки першого та другого періодів, Розмір вибірки N (30–600), щоб змінити кількість точок, і Поріг відбору (5–50%), щоб змінити, наскільки екстремальна виділена група. Перемикайтеся між режимами Точковий графік, Гістограма та Все, натисніть «Перегенерувати» для нової випадкової вибірки, або завантажте пресети «Спортивне прокляття», «Медицина» та «Без кореляції».
💡 Чи знали ви?
Френсіс Гальтон вперше задокументував цей ефект у 1886 році, вивчаючи зріст батьків і дітей, назвавши його «регресія до посередності» — звідси й походить слово «регресія» у статистиці. Коли ρ = 0 (пресет «Без кореляції»), будь-яка група, відібрана за екстремальними значеннями X, регресує повністю до популяційного середнього за Y.
Поширені запитання
Як симуляція насправді генерує корельовані дані?
Вона отримує два незалежних стандартних нормальних значення z1 та z2 за допомогою перетворення Бокса-Мюллера, встановлює x = z1, а y = ρ·z1 + √(1−ρ²)·z2. Це стандартна конструкція для двовимірної нормальної пари з кореляцією ρ: коли ρ близьке до 1, y майже точно повторює x, а коли ρ близьке до 0, y — це фактично незалежний шум.
Як обчислюється «відібрана» група та стрілка регресії?
Симуляція сортує всі N точок за їхнім значенням X у спадному порядку та бере верхню частку, визначену повзунком Порогу відбору (5–50%). Потім вона обчислює середнє X та середнє Y цієї групи і малює червону стрілку від точки (avgX, avgX) на лінії тотожності Y=X до фактичної точки (avgX, avgY) — наочно показуючи, наскільки реальне середнє Y групи відстає від її завищеного середнього X.
Чому нижча кореляція ρ спричиняє сильнішу регресію до середнього?
Фіолетова лінія регресії на точковій діаграмі — це E[Y|X] = ρ·X, тож її нахил точно дорівнює ρ. При ρ = 1 ця лінія збігається з Y=X, і регресії немає взагалі; коли ρ прямує до 0, лінія стає дедалі більш горизонтальною, тобто будь-яке екстремальне значення X передбачає значення Y, майже повністю притягнуте назад до загального середнього нуля.
Що моделюють пресети «Спортивне прокляття», «Медицина» та «Без кореляції»?
«Спортивне прокляття» встановлює ρ = 0,5, N = 300 і жорсткий поріг відбору 10%, наслідуючи те, як лише справді видатні одноразові виступи привертають увагу медіа, а потім різко регресують наступного сезону. «Медицина» використовує ρ = 0,7, N = 150 і поріг 30%. «Без кореляції» встановлює ρ = 0, щоб показати крайній випадок, коли відібрані виконавці повністю регресують до популяційного середнього.
Чи є показаний тут ефект регресії реальним причинним ефектом, чи артефактом?
Це статистичний артефакт відбору за одним зашумленим виміром, а не реальна сила, що тягне оцінки вниз. Будь-яка екстремальна оцінка частково відображає справжню здібність, а частково — удачу, і оскільки удача за визначенням не повторюється, наступний вимір природно виглядає більш середнім, навіть якщо нічого не змінилося в базовій здібності. Саме тому модель обчислює статистику «Відсоток регресії», а не приписує зміну якомусь реальному втручанню.
Поширені запитання
-
Що таке регресія до середнього?Регресія до середнього — це статистичне явище, при якому екстремальні виміри однієї змінної зазвичай супроводжуються менш екстремальними вимірами другої, корельованої змінної. Вперше його описав Френсіс Гальтон у 1886 році, вивчаючи зріст батьків і дітей.
-
Чому відбувається регресія до середнього?Це відбувається тому, що екстремальні оцінки частково зумовлені випадковістю (шумом). Коли ви відбираєте екстремальні значення за одним виміром, ви також відбираєте вищу за середню удачу. При наступному вимірі удача, ймовірно, буде ближчою до середньої, притягуючи результат назад до середнього. Математична формула: E[Y|X=x] = μ_Y + ρ·(σ_Y/σ_X)·(x − μ_X).
-
Що таке «спортивне прокляття» і як регресія це пояснює?«Прокляття Sports Illustrated» (або «спад другого сезону») описує спортсменів, які показують виняткові результати, здобувають славу, а потім, здається, занепадають. Насправді їхній перший виступ частково був удачею, а другий ближчий до їхньої справжньої здібності. Регресія до середнього, а не справжнє прокляття, повністю пояснює цю закономірність.
-
Як кореляція ρ впливає на регресію до середнього?Сила регресії до середнього прямо залежить від кореляції ρ. Коли ρ = 1 (ідеальна кореляція), регресії немає — друге вимірювання точно дорівнює першому. Коли ρ = 0 (немає кореляції), друге вимірювання повністю незалежне, і екстремальні перші оцінки завжди повністю регресують до популяційного середнього.
-
Де регресія до середнього проявляється в медицині?Пацієнти часто звертаються за лікуванням, коли симптоми найгірші. Навіть без лікування симптоми, як правило, покращувалися б через регресію до середнього. Саме тому клінічним випробуванням потрібні контрольні групи — очевидне покращення після лікування може бути просто регресією, а не реальним ефектом препарату.
-
Що таке двовимірний нормальний розподіл?Двовимірний нормальний розподіл описує дві спільно нормально розподілені випадкові величини X та Y із середніми μ_X, μ_Y, стандартними відхиленнями σ_X, σ_Y та коефіцієнтом кореляції ρ. Умовне сподівання E[Y|X=x] утворює пряму лінію, і нахил ρ·(σ_Y/σ_X) визначає ступінь регресії.
-
Чи може регресія до середнього призводити до хибних висновків у дослідженнях?Так. Якщо дослідники відбирають найгірших студентів для втручання, а потім бачать покращення, це покращення може бути повністю зумовлене регресією до середнього, а не самою програмою. Дизайни «до-після» без контрольних груп особливо вразливі до цього викривлення.
-
Як регресія до середнього пов'язана з лінійною регресією?Термін «регресія» в лінійній регресії походить безпосередньо з оригінальної роботи Гальтона про регресію до середнього. Він помітив, що лінія найкращого наближення, яка пов'язує зріст батьків і дітей, мала нахил менший за 1, показуючи, що високі батьки мали дітей, ближчих до середнього зросту, ніж вони самі.
-
Чи регресія до середнього спрямована лише вниз?Ні. Регресія до середнього діє симетрично: надзвичайно низькі оцінки за змінною X, як правило, супроводжуються менш екстремальними (вищими) оцінками за Y. Якщо ви відберете найгірших студентів, вони, ймовірно, покращаться — не через зусилля, а тому що їхній поганий початковий результат включав невдачу.
-
Як уникнути оманливого впливу регресії до середнього?Використовуйте рандомізовані контрольовані випробування з належними контрольними групами. Уникайте відбору суб'єктів на основі екстремальних попередніх оцінок без урахування ефектів регресії. Застосовуйте статистичні методи, які явно моделюють похибку виміру, наприклад корекцію розведення регресії або структурні рівняння моделей.