Регресія до середнього значення: Статистична пастка за кожним спортивним прокляттям

Projectile Motion

Francis Galton noticed the pattern in the 1880s while studying sweet-pea seeds and human heights: the offspring of unusually tall parents tended to be tall, but on average shorter than their parents; the offspring of unusually short parents tended to be short, but on average taller. He called it 'regression toward mediocrity,' now softened to regression to the mean. It is not a mystical pull toward average — it is a direct, unavoidable consequence of any pair of measurements that are correlated but not perfectly correlated.

Де куди виходить відхилення

Моделюйте два корельовані вимірювання — оцінку та повторну перевірку, сезон дебютантів і сезон другокурсників — як витяги з біноміального нормального розподілу з коефіцієнтом кореляції ρ (ро), де |ρ| < 1, якщо обидва вимірювання є буквально однаковими. Оскільки перша оцінка на z стандартних відхилень вище середнього, найкращий прогноз для другої оцінки не на z стандартних відхилень вище середнього — це ρ·z:

E[Y | X = x] = μ_Y + ρ · (σ_Y/σ_X) · (x - μ_X) стандартизована форма: E[Z_Y | Z_X = z] = ρ · z ρ = 1 → немає регресії, ідеальна передбачуваність ρ = 0 → повна регресія, друга оцінка — це середнє значення 0<ρ<1 → частковий вплив на повернення до середнього, розмір встановлюється ρ Коли ρ менше 1 за величиною — що майже завжди відбувається, оскільки будь-яке реальне вимірювання змішує справді здібність із шумом — прогнозована друга оцінка знаходиться ближче до середнього, ніж перша. Це чиста алгебра, вірно для будь-якої корельованої пари змінних і нічого не говорить про причинність: жодного покарання, прокляття або обкладинки журналу не потрібно.

E[Y | X = x] = μ_Y + ρ · (σ_Y/σ_X) · (x - μ_X)

standardized form:  E[Z_Y | Z_X = z] = ρ · z

ρ = 1   → no regression, perfect predictability
ρ = 0   → total regression, second score is just the mean
0<ρ<1  → partial pull back toward the mean, size set by ρ

The sophomore slump and the Sports Illustrated curse

A rookie who has an outstanding first season was, by definition, selected partly for skill and partly for a run of good luck — a favourable bounce of variance that season. The next season, skill persists but that particular lucky draw does not repeat, so the follow-up performance regresses toward the player’s true underlying average. Commentators call this the sophomore slump or, when a magazine cover follows a hot streak and the athlete cools off afterward, the Sports Illustrated cover curse. The magazine did not curse anyone; extreme performances are, on average, followed by less extreme ones purely because extremity itself is partly luck.

Why this trips up intuition, and policy

Daniel Kahneman used flight-instructor training as his famous example: instructors praised cadets after unusually good landings and reprimanded them after unusually bad ones, then observed that praised cadets tended to do worse next time and reprimanded ones tended to do better — and concluded punishment worked and praise didn't. Both effects were just regression to the mean; the same pattern would appear if the instructors said nothing at all.

The same trap catches speed cameras installed at accident blackspots (accidents drop afterward partly because that intersection's unlucky spike was never going to repeat at the same rate), medical treatments evaluated only on patients selected because their symptoms were at their worst, and any 'before/after' comparison that selects subjects for being at an extreme.

How to tell real change from statistical drift

The only reliable defence is a control group that is not selected for being extreme but experiences the same regression pull, so the drift cancels out in a before/after comparison and whatever difference remains is attributable to the actual intervention. Repeated measurement helps too: averaging several independent samples per subject shrinks the noise component relative to the true-ability component, pushing ρ between averaged scores closer to 1 and reducing the size of the artificial rebound.

Frequently asked questions

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Regression to the Mean і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.