Закон Большого Числа та Центральна Метод Теореми Залежності

Закон Большого Числа та CLT

Закон Большого Числа (ЗБЧ) та Центральна мера схильності (CMS) — це два результати, які роблять усереднення значущим. ЗБЧ відповідає на питання «Куди йде середнє значення?» — коли ви берете все більше і більше незалежних зразків з будь-якої розподілу з кінцевим середнім значенням, рухоме середнє значення сходиться до цього справжнього середнього значення. CMS відповідає на інше питання «Як виглядає середнє значення по шляху?» — розподіл вибіркових середніх, взятих над багатьма повтореними зразками розмір n, підходить до нормального (губчастого) криву, коли n зростає, незалежно від того, яку форму мав оригінальний розподіл.

Чому середнє значення кидків кубика має знаходитись близько до 3.5

Неупереджений шестигранний кубик має очікуване значення E[X] = (1+2+3+4+5+6)/6 = 3.5. Після кількох кидків середнє арифметичне може знаходитись майже де завгодно — три кидки 6, 6, 1 усереднюються до 4.33. Але кожен наступний кидок є незалежним витягом з того ж розподілу, і дисперсія середнього значення n кидків зменшується пропорційно 1/n:

Слабка теорема великих чисел: Для будь-якого ε > 0, P( |X̄_n - μ| > ε ) → 0 при n → ∞ Дисперсія (σ²) X̄_n = σ² / n → дисперсію власного середнього значення зменшується з ростом n Сильна теорема великих чисел: X̄_n → μ майже напевно (з ймовірністю 1) Розподіл рухомого середнього значення стає вужчим і вужчим навколо 3.5 зі збільшенням n, що пояснює, чому воно виглядає як збіжність до кривої, хоча технічно нічого не забороняє величезного ряду шісток у будь-який момент часу — такий ряд просто стає надзвичайно малоймовірним, і будь-яка початкова серія розбавляється переважною кількістю пізніших кидків.

Weak Law of Large Numbers:
  For any ε > 0,   P( |X̄_n − μ| > ε )  →  0   as n → ∞

Var(X̄_n) = σ² / n     →   the average's own spread shrinks with n

Strong Law of Large Numbers:
  X̄_n → μ   almost surely (with probability 1)

Поширене нерозуміння: закон про упередження гравця

Теорія марновидних (LLN) часто неправильно застосовується для обґрунтування переконання, що монета «борж” від вас за послідовність орів. Гральний кубик і монета не мають пам’яті: кожен кидок витягується з одного й того ж розподілу незалежно від попереднього результату, і послідовність 6,6,6,6,6,6 точно така ж ймовірна, як будь-яка інша конкретна послідовність шести кидків. Середні повернення становлять 3,5 не тому, що майбутні кидки компенсують попередні, а тому що довгий період згортається через величезний обсяг незалежних даних, які слідують за ним – розведення, а не корекція.

Центральна теорема про обсяги, точніше

Візьміть зразки розміру n з будь-якого розподілу з кінцевим середнім значенням μ та кінцевою дисперсією σ² — це може бути чесна гранола, розподіл доходів із значною перешкодою або щось інше — обчислюйте середнє значення кожного зразка та розглядайте, як ці середні значення зразків розподілені:

Центральна теорема про обсяги: X̄_n ≈ Норма( μ, σ²/n ) для великих n стандартна похибка середнього: SE = σ / √n Це вражаючий, майже універсальний результат: форма початкового розподілу — рівномірний, як гранола, експоненційний, сильно спотворений — зникає з розподілу середнього значення зразка, яке сходиться до одного й того ж дзвінка незалежно від того, чи є дані очевидно нерівномірними. Це теоретична основа для інтервалів довірчого значення, розрахунків похибки маржі в опитуваннях та більшої частини класичного гіпотезного тестування, усі з яких базуються на припущенні, що середнє значення зразка приблизно нормально розподілене, навіть коли основні дані очевидно не є такими.

Central Limit Theorem:

  X̄_n  ≈  Normal( μ,  σ²/n )     for large n

  standard error of the mean:  SE = σ / √n

Зменшення прибутків: чому стандартна похибка повільно зменшується

Оскільки стандартна похибка масштабується як σ/√n замість σ/n, для зменшення невизначеності вдвічі потрібно збільшити розмір вибірки вчетверо, а не вдвоє. Це квадратне правило тихо пояснює, чому організаціям опитування потрібні тисячі респондентів, щоб знизити межу похибки до кількох відсоткових пунктів, і чому подвоєння тривалості фізичного експерименту зменшує статистичний шум лише приблизно на 41%, а не на 50%.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Law of Large Numbers і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.