Теорія Центральної Обмеженості: Чому Середні Значення Стають Колоновими

Формальне твердження

Центральна теорема обмеженості (ЦТО) є, безсумнівно, одним із найбільш використовуваних результатів у статистиці. Вона стверджує, що середнє значення великої вибірки, взятої з будь-якого розподілу з кінцевою дисперсією, приблизно розподілене нормально – незалежно від того, чи є підлягаючий населення нормальним, експоненційним, бімодальним або будь-чим іншим ненормальним. Формально: нехай X₁, X₂, …, Xₙ будуть незалежними, однаково розподіленими випадковими величинами з середнім значенням μ = E[Xᵢ] та дисперсією σ² = Var(Xᵢ) < ∞. Визначимо стандартизоване середнє значення вибірки:

X̄ₙ = (X₁ + X₂ + ... + Xₙ) / n Zₙ = (X̄ₙ − μ) / (σ/√n) Тоді: Zₙ → N(0, 1) в розподілі при n → ∞ Остіжно, X̄ₙ також приблизно N(μ, σ²/n) для великих n. Це одне твердження обґрунтовує 95% довірчий інтервал x̄ ± 1.96·σ/√n, z-тест, t-тест та більшість інструментів класичної статистичної інференції – жодне з них не вимагає нормальності початкового населення, лише середнє значення вибірки, отримане з нього.

X̄ₙ = (X₁ + X₂ + ... + Xₙ) / n
Zₙ  = (X̄ₙ − μ) / (σ/√n)

Then:  Zₙ → N(0, 1)  in distribution as n → ∞

Чому це правдиво: характеристичні функції

Найчистіше доведення використовує характеристичні функції — по суті, перетворення Фур'є ймовірнісного розподілу, φ_X(t) = E[e^(itX)]. Стандартизуйте кожну змінну як Yᵢ = (Xᵢ − μ)/σ, де E[Yᵢ] = 0 і Var(Yᵢ) = 1, та напишіть Zₙ = (Y₁ + ... + Yₙ)/√n. Оскільки Yᵢ незалежні, характеристична функція суми дорівнює добутку окремих функцій:

φ_Zn(t) = φ_Y(t/√n)ⁿ Розкладіть у ряд Тейлора навколо t=0, використовуючи E[Y]=0 і E[Y²]=1: log φ_Y(t) = −t²/2 + O(t³) log φ_Zn(t) = n · log φ_Y(t/√n) = −t²/2 + O(1/√n) → −t²/2 при n → ∞ Отже, φ_Zn(t) → e^(−t²/2), характеристична функція N(0,1). За теоремою Лев'я про безперервність збіжність характеристичних функцій до характеристичної функції N(0,1) означає збіжність за розподілом до N(0,1) — це все доведення, і воно ніколи не припускало форми початкового розподілу за межами кінцевої дисперсії.

φ_Zn(t) = φ_Y(t/√n)ⁿ

Taylor-expand near t=0, using E[Y]=0 and E[Y²]=1:
log φ_Y(t) = −t²/2 + O(t³)

log φ_Zn(t) = n · log φ_Y(t/√n) = −t²/2 + O(1/√n)  →  −t²/2  as n → ∞

So φ_Zn(t) → e^(−t²/2), the characteristic function of N(0,1).

Яка швидкість збіжності?

CLT гарантує збіжність врешті-решт, але не говорить нічого про швидкість само по собі — це те, що надає Berry-Esseen теорема. Вона обмежує найгірший можливий розрив між істинною функцією розподілу Zₙ та стандартною нормальною функцією розподілу Φ:

sup_x |P(Zₙ ≤ x) − Φ(x)| ≤ C · ρ / (σ³ · √n) ρ = E[|X − μ|³] (третій абсолютний момент) C ≤ 0.4748 (найкраще відома константа, Shevtsova 2011) Для випадкової величини Bernoulli(p), близької до p = 0.5, це дає максимальну похибку близько 1/(2√n) — приблизно 5% при n = 100 та 1.6% при n = 1000. Практичний результат: n ≥ 30 є хорошим правилом для пальця для симетричних, добре упорядкованих розподілів, але сильно спотворений розподіл, наприклад експоненційний, часто потребує n ≥ 100 або більше, перш ніж нормальне наближення буде надійним.

sup_x |P(Zₙ ≤ x) − Φ(x)|  ≤  C · ρ / (σ³ · √n)

ρ = E[|X − μ|³]     (third absolute moment)
C ≤ 0.4748          (best known constant, Shevtsova 2011)

Гальтонівська плита зробила це фізичним

Франц Гальтон побудував фізичну демонстрацію теореми близько 1876 року: гальтонову плиту, або квінксікс, де куля падає через трикутний масив шипів, відхиляючись вліво або вправо з однаковою ймовірністю на кожному ряду. Остання горизонтальна позиція кулі є сумою n незалежних ±1 кроків — випадкова величина Біноміал(n, 0.5), і за CLT Біноміал(n,p) → N(np, np(1−p)) зі збільшенням n. Висота кожного приймального контейнера пропорційна ряду трикутника Паскаля, і з достатньою кількістю рядів гістограма куль помітно встановлюється у формі колоколоподібної кривої. Та сама логіка узагальнюється далеко за межі кидків монети: будь-яка величина, яка виникає як сума багатьох невеликих, незалежних внесків — похибка вимірювання, зріст, артеріальний тиск — має тенденцію бути приблизно нормальною саме з цієї причини.

Де виникає проблема

Теорема має реальні умови застосування, і їх порушення має значення. Розподіли з важкими хвостами та нескінченною дисперсією – наприклад, розподіл Парето з індексом хвоста рівним або нижчим за 2, або гауссовий розподіл – повністю випадають за межі CLT; їхні суми збігаються до розподілу Леві-стабільних, тому й не обов’язково усереднюються до нормального. Гауссовий розподіл є крайнім випадком: він не має визначеного середнього значення чи дисперсії, а вибіркове середнє n гаусівських змінних також є гауссовим для будь-якої кількості n – усереднення ніколи не допомагає. Залежні спостереження, такі як корельовані часові ряди, також порушують припущення i.i.d., хоча функціональна версія теореми (теорема Денскера, 1951) відновлює межу – процес суми збігається до броунівського руху, що є основою під стохастичними диференціальними рівняннями та моделі Блэка-Шоулса.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте the simulation і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.