Статистика та ймовірність — від підкидання монети до баєсівського висновку

Ймовірність як математичний каркас

Статистика та ймовірність — не одна й та сама дисципліна. Ймовірність — це чиста математика: маючи модель, які результати ймовірні? Статистика інвертує це питання: маючи результати, яка модель ймовірна? Симуляції цього випуску перебувають на межі між цими двома підходами — кожна дозволяє побачити, як теоретичний результат виникає з повторюваних випадкових експериментів, роблячи абстрактне конкретним.

Що їх об'єднує — це випадковість зі структурою. Підкидання монети непередбачуване поодинці, проте 10 000 підкидань дають гістограму, нерозрізнену від нормальної кривої. Випадкове блукання п'яниці містом — хаос, проте частка часу, проведеного в кожному районі, сходиться до точної частки. Випадковість і порядок — не протилежності, а один і той самий феномен, що спостерігається на різних часових масштабах.

Шар 1: універсальна збіжність — центральна гранична теорема

Симуляція центральної граничної теореми

Центральна гранична теорема (ЦГТ) — напевно, найважливіший результат у всій статистиці. Вона стверджує, що сума великої кількості незалежних випадкових величин — незалежно від їхніх індивідуальних розподілів — сходиться до нормального розподілу. Кинувши кубик один раз, ви отримаєте плоский розподіл. Усереднивши два кидання, з'являються піки. Усереднивши тридцять, ви отримаєте дзвоноподібну криву настільки гладку, що таблиці нормального розподілу дають відповіді, точні до шостого знака після коми.

Саме тому нормальний розподіл з'являється всюди в природі: зріст людей, похибки вимірювань, дохідність акцій, показники IQ і випадкова швидкість молекул газу — все це виникає з підсумовування багатьох малих незалежних внесків. ЦГТ — математична причина, чому гаусіан є не просто зручністю, а законом великих чисел.

Класична ЦГТ (Ліндеберг-Леві):
  X₁, X₂, ..., Xₙ — н.о.р. з середнім μ, дисперсією σ²
  S̄ₙ = (X₁ + X₂ + ... + Xₙ) / n  (вибіркове середнє)

  При n → ∞:
    √n · (S̄ₙ − μ) / σ  →  N(0, 1)  (за розподілом)

  Еквівалентно:
    S̄ₙ ~ N(μ, σ²/n)  приблизно, для великих n

Стандартна похибка середнього:
  SE = σ / √n
  (щоб зменшити SE вдвічі, потрібно у 4 рази більше вибірок)

Межа Беррі-Ессеена (швидкість збіжності):
  sup_x |P(√n(S̄ₙ−μ)/σ ≤ x) − Φ(x)| ≤ C · ρ / (σ³ · √n)
  ρ = E[|X − μ|³]  (третій абсолютний момент)
  C ≈ 0.4748  (точна константа, Шевцова 2010)

Ключова ідея: збіжність швидша, коли ρ/σ³ мале
  — симетричні розподіли сходяться швидше за асиметричні
  — легші хвости сходяться швидше за важкі

Вихідні розподіли в симуляції:
  Рівномірний U(0,1):    μ=0.5, σ²=1/12,  швидка ЦГТ
  Експоненційний(1):     μ=1,   σ²=1,      помірна (асиметрична)
  Бімодальний:           μ=0.5, σ²≈0.25,   повільна (бімодальна)
  Пуассонівський(λ=1):   μ=1,   σ²=1,      помірна

Симуляція центральної граничної теореми дозволяє обрати з п'яти вихідних розподілів — плоского, експоненційного, бімодального, пуассонівського та право-асиметричного — і спостерігати, як у реальному часі накопичуються гістограми вибіркових середніх. Перетягніть повзунок розміру вибірки від n = 1 до n = 200 і дивіться, як розгортається збіжність: вибіркові середні бімодального розподілу вже виглядають нормально розподіленими при n = 30, тоді як розподіл із важкими хвостами потребує n = 100 для чистої збіжності.

Шар 2: оновлення переконань — баєсівський висновок

Симуляція баєсівського висновку

Класична статистика запитує: маючи гіпотезу, яка ймовірність спостережених даних? Баєсівська статистика запитує обернене: маючи дані, яка ймовірність того, що гіпотеза істинна? Це звучить як те саме питання, але вони дають різні відповіді, і їх плутанина — джерело багатьох помилок у науковій літературі.

Теорема Баєса дає правило оновлення: помножте апріорну ймовірність на правдоподібність даних, потім нормалізуйте. Кожен доказ переформовує розподіл ймовірностей над гіпотезами, притягуючи його до узгоджених пояснень. Почніть із повної невизначеності, і після достатньої кількості спостережень навіть розмитий апріорний розподіл різко концентрується навколо істинного значення.

Теорема Баєса:
  P(H | E) = P(E | H) · P(H) / P(E)

  H = гіпотеза (напр. пацієнт має захворювання)
  E = доказ  (напр. результат тесту позитивний)
  P(H)       = апріорна ймовірність H
  P(E | H)   = правдоподібність: P(позитивний тест | захворювання)
  P(E)       = маргінальна правдоподібність (нормувальна константа)
  P(H | E)   = апостеріорна ймовірність H за умови E

Закон повної ймовірності:
  P(E) = P(E|H)·P(H) + P(E|¬H)·P(¬H)

Приклад медичного тесту (у симуляції):
  Поширеність захворювання:  P(H)       = 0.01   (1 із 100)
  Чутливість тесту:          P(E|H)     = 0.99   (частка істинно позитивних)
  Специфічність тесту:       P(¬E|¬H)   = 0.95   (частка істинно негативних)
  → Частка хибнопозитивних: P(E|¬H)     = 0.05

  P(H|E) = 0.99 × 0.01 / [0.99×0.01 + 0.05×0.99]
         = 0.0099 / (0.0099 + 0.0495)
         = 0.0099 / 0.0594
         ≈ 0.167  ← лише 16.7% ймовірність захворювання!

Чому це неінтуїтивно:
  Хибнопозитивні результати домінують, коли поширеність низька.
  Тест "виглядає" на 99% точним, але апостеріорна ймовірність лише 17%.
  Це називають помилкою нехтування базовою частотою.

Симуляція баєсівського висновку візуалізує апріорний, правдоподібнісний та апостеріорний розподіли як криві, які можна перетягувати. Сценарій медичного тесту показує, чому навіть 99%-точний тест має низьку прогностичну цінність позитивного результату, коли стан рідкісний — результат, що дивує і студентів, і клініцистів. Запустіть тест із монетою, щоб спостерігати, як апостеріорний розподіл загострюється від невизначеності 50/50 до справжнього зміщення після кожного спостереженого підкидання.

Шар 3: контрінтуїтивна ймовірність — парадокс днів народження

Симуляція парадоксу днів народження

Скільки людей потрібно в кімнаті, щоб у двох із них збігся день народження? Більшість людей вгадують число близько 180 — приблизно половину від 365. Правильна відповідь — 23. Це разюче недооцінювання і є парадоксом днів народження, і воно розкриває, наскільки погано людська інтуїція справляється з комбінаторним вибухом попарних порівнянь.

З 23 людьми є C(23,2) = 253 окремі пари. Кожна пара незалежно має ймовірність 1/365 мати спільний день народження. Ймовірність того, що жодна з 253 пар не збігається, приблизно дорівнює e⁻²⁵³/³⁶⁵ ≈ 0.50. Для 30 людей вона зростає до 70%, для 50 — до 97%, а для 70 — до 99.9%.

Точна ймовірність, що принаймні двоє мають спільний день народження:
  n = кількість людей,  d = 365 днів

  P(збіг | n) = 1 − P(без збігу | n)
  P(без збігу | n) = d/d · (d−1)/d · (d−2)/d · ... · (d−n+1)/d
                  = d! / [(d−n)! · dⁿ]

Наближення на основі Стірлінга (n ≪ d):
  P(без збігу) ≈ exp(−n(n−1) / (2d))
  P(збіг)      ≈ 1 − exp(−n²/(2d))  для n ≪ d

Ключові значення:
  n = 23 → P(збіг) ≈ 50.7%
  n = 30 → P(збіг) ≈ 70.6%
  n = 50 → P(збіг) ≈ 97.0%
  n = 70 → P(збіг) ≈ 99.9%

Узагальнення — знаходження колізії в наборі з d елементів:
  Очікувана кількість вибірок до першої колізії ≈ √(π·d/2)
  Для d = 365: √(π·365/2) ≈ 23.9  ("межа днів народження")

Криптографічне значення:
  Хеш-функція, що дає n-бітні дайджести, має d = 2ⁿ можливих виходів.
  Колізія очікується після ≈ 2^(n/2) хешів.
  SHA-256 (n=256): колізія після ~2¹²⁸ хешів — обчислювально нездійсненно.

Симуляція парадоксу днів народження запускає одразу точну аналітичну криву та живий експеримент Монте-Карло. Вигляд кімнати показує 365 позицій по колу, які заповнюються, коли люди входять, і спалахують червоним при виявленні колізії. Запустіть 10 000 випробувань миттєво кнопкою пакетного режиму й дивіться, як емпірична частота лягає точно на теоретичну криву.

Шар 4: підбір ліній — лінійна регресія

Симуляція звичайних найменших квадратів

Маючи розсіювання точок даних, лінійна регресія знаходить лінію, що мінімізує суму квадратів вертикальних залишків — відстаней від кожної точки до підібраної лінії. Цей критерій звичайних найменших квадратів (OLS) має розв'язок у замкненій формі, що робить його найпоширенішим статистичним методом у науці, економіці та машинному навчанні.

R², коефіцієнт детермінації, вимірює, яка частка дисперсії y пояснюється x: R² = 1.0 означає ідеальне узгодження; R² = 0 означає, що регресійна лінія не краща за просте вгадування середнього. r Пірсона — це квадратний корінь з R² (зі знаком), що вимірює напрям і силу лінійного зв'язку. Впливовий викид може різко зсунути регресійну лінію — жива демонстрація цього варта тисячі слів.

Ціль OLS:
  Мінімізувати SSE = Σᵢ (yᵢ − ŷᵢ)²  де ŷᵢ = a + b·xᵢ

Розв'язок у замкненій формі (проста лінійна регресія):
  b = Σ(xᵢ − x̄)(yᵢ − ȳ) / Σ(xᵢ − x̄)²
    = Cov(x, y) / Var(x)

  a = ȳ − b·x̄  (перетин через центроїд)

  Еквівалентно в матричній формі (множинна регресія):
    β̂ = (XᵀX)⁻¹ Xᵀy
    X = [1, x₁; 1, x₂; ...; 1, xₙ]  (матриця плану)

Показники якості узгодження:
  SST = Σ(yᵢ − ȳ)²           (загальна сума квадратів)
  SSR = Σ(ŷᵢ − ȳ)²           (регресійна сума квадратів)
  SSE = Σ(yᵢ − ŷᵢ)²          (залишкова сума квадратів)
  R²  = 1 − SSE/SST = SSR/SST  ∈ [0, 1]

Кореляція Пірсона:
  r = Cov(x,y) / [σₓ · σᵧ]  ∈ [−1, 1]
  b = r · σᵧ / σₓ            (зв'язок нахилу й кореляції)

Умови Гаусса-Маркова для найкращих незміщених лінійних оцінок:
  1. Лінійність: y = Xβ + ε
  2. Строга екзогенність: E[ε | X] = 0
  3. Гомоскедастичність: Var(ε | X) = σ²I
  4. Відсутність повної мультиколінеарності: rank(X) = p

Симуляція лінійної регресії перетворює вашу мишу на редактор даних: клацніть, щоб додати точку, перетягніть, щоб перемістити її, і дивіться, як лінія OLS, показник R², r Пірсона та квадрати залишків оновлюються в реальному часі. Перетягніть одну викидну точку далеко від скупчення й дивіться, як R² руйнується — наочно показуючи крихкість кореляції до впливових спостережень. П'ять пресетів демонструють ідеальне узгодження, нульову кореляцію, квадратичні закономірності (які OLS не може вловити) та класичні сценарії з викидами.

Шар 5: випадкові блукання з пам'яттю — ланцюги Маркова

Симуляція ланцюга Маркова

Ланцюг Маркова — стохастичний процес, у якому майбутній стан залежить лише від теперішнього стану, а не від того, як ви до нього дійшли. Ця "безпам'ятна" властивість Маркова напрочуд потужна: вона лежить в основі PageRank Google, ціноутворення фінансових опціонів, розпізнавання мовлення, моделей згортання білків та методів інтегрування Монте-Карло.

Маючи матрицю переходів P, де P[i][j] — ймовірність переходу зі стану i в стан j, ланцюг Маркова має єдиний стаціонарний розподіл π, що задовольняє πP = π. Починаючи з будь-якого початкового стану, повторювані переходи сходяться до π — математична гарантія з глибокими наслідками для симуляції, оптимізації та аналізу мереж.

Матриця переходів P (n×n, рядково-стохастична):
  P[i][j] ≥ 0,   Σⱼ P[i][j] = 1  для всіх i

Вектор ймовірностей стану на кроці t:
  π(t) = π(0) · P^t

Стаціонарний (усталений) розподіл π*:
  π* · P = π*    (лівий власний вектор для власного значення 1)
  Σᵢ π*ᵢ = 1

Збіжність степеневої ітерації (для ергодичних ланцюгів):
  π(t) → π*  при t → ∞
  Швидкість визначається другим за величиною власним значенням λ₂:
    час збіжності ∝ 1 / (1 − |λ₂|)

Пресет "погода" (у симуляції):
  Стани: Сонячно, Хмарно, Дощ
  P = [0.70  0.20  0.10]   (із Сонячно)
      [0.30  0.40  0.30]   (із Хмарно)
      [0.20  0.30  0.50]   (із Дощ)
  Стаціонарний: π* ≈ [0.46, 0.28, 0.26]

Пресет PageRank:
  d = 0.85 (коефіцієнт затухання)
  P_PR = d · A_norm + (1−d) · (1/n) · 1·1ᵀ
  Стаціонарний π* = оцінки важливості сторінок

Симуляція ланцюгів Маркова малює анімовані стрілки переходів між станами, товщина яких пропорційна ймовірностям переходу. Анімований мандрівник стрибає між станами з налаштовуваною швидкістю, тоді як стовпчикові діаграми порівнюють емпіричну частоту відвідувань із теоретичним стаціонарним розподілом — сходячись до π* просто у вас на очах. П'ять пресетів охоплюють переходи погоди, PageRank, розорення гравця, генетику й випадковий чотиристановий ланцюг.

Шар 6: фізика ймовірності — розподіл Максвелла-Больцмана

Симуляція розподілу Максвелла-Больцмана

Статистична механіка — це місце, де зустрічаються фізика та ймовірність. Контейнер газу містить ~10²³ молекул, кожна з яких рухається з різною швидкістю. Детерміністичний опис нездійсненний, але статистичний опис точний: частка молекул зі швидкостями в інтервалі [v, v+dv] підпорядковується розподілу Максвелла-Больцмана, виведеному Максвеллом (1860) лише з трьох припущень: ізотропності, незалежності компонент швидкості та збереження енергії.

Результат показує, що розподіл швидкостей молекул не має піку в нулі — більшість молекул рухаються значно швидше за теплову швидкість √(k_BT/m). При вищих температурах пік зміщується вправо, а розподіл розширюється; при нижчих — звужується. Це має прямі наслідки для швидкостей хімічних реакцій (Арреніус), витікання атмосфери з планет і роботи газових лазерів.

Функція густини ймовірності:
  f(v) = 4π · (m / 2πk_BT)^(3/2) · v² · exp(−mv² / 2k_BT)

  де:
    m   = маса молекули [кг]
    k_B = стала Больцмана = 1.380649 × 10⁻²³ Дж/К
    T   = абсолютна температура [К]

Характерні швидкості:
  Найімовірніша швидкість:  v_p  = √(2k_BT / m)
  Середня швидкість:          = √(8k_BT / πm)  = v_p · √(4/π)
  Середньоквадратична:      v_rms = √(3k_BT / m)  = v_p · √(3/2)

Порядок: v_p <  < v_rms  (відношення ≈ 1 : 1.128 : 1.225)

Нормування (перевірка):
  ∫₀^∞ f(v) dv = 1  ✓

Масштабування з температурою:
  v_p ∝ √T   — подвоєння температури збільшує найімовірнішу швидкість у √2 разів
  v_p ∝ 1/√m — азот (28 а.о.м.) рухається ~у 3.4 рази повільніше за водень (2 а.о.м.) при тій самій T

Атмосферне витікання (втеча Джинса):
  Швидкість втечі із Землі: v_esc ≈ 11.2 км/с
  Високоенергетичний хвіст f(v) визначає швидкість втрати
  Водень (m=2 а.о.м.) втікає; азот (m=28 а.о.м.) — ні

Симуляція Максвелла-Больцмана моделює газ із частинок-твердих сфер, що пружно зіштовхуються в 2D-коробці. Гістограма швидкостей частинок у реальному часі оновлюється з кожним зіткненням, сходячись до кривої МБ у міру роботи симуляції. Змініть повзунок температури й дивіться, як реагують теоретична крива та швидкості частинок — роблячи відчутним, що температура — це просто середня кінетична енергія хаотичного руху.

Шар 7: ресемплінг без припущень — бутстреп

Симуляція бутстреп-ресемплінгу

Класична статистика передбачає, що ви знаєте розподіл генеральної сукупності — а потім виводить формули для довірчих інтервалів і p-значень за цим припущенням. Але що робити, якщо не можна припустити нормальність? Що, якщо у вас лише 15 точок даних, а потрібен довірчий інтервал для медіани або складної статистики, як-от коефіцієнт Джині?

Бутстреп-ресемплінг, запроваджений Бредлі Ефроном 1979 року, повністю обходить припущення про розподіл. Ідея проста: розглядати вашу вибірку як замінник генеральної сукупності та витягувати з неї тисячі нових вибірок з поверненням. Розподіл вашої статистики серед цих повторних вибірок наближає її справжній вибірковий розподіл — без жодних формул.

Алгоритм (непараметричний бутстреп):
  1. Маючи вихідні дані: x = {x₁, x₂, ..., xₙ}
  2. Для b = 1 до B (типово B = 10 000):
       Вибрати x*_b = {x*₁, ..., x*ₙ} з поверненням з x
       Обчислити статистику θ̂*_b = f(x*_b)  (напр. середнє, медіана, R²)
  3. Відсортувати {θ̂*_1, ..., θ̂*_B}
  4. 95% ДІ = [θ̂*_{0.025·B}, θ̂*_{0.975·B}]  (метод процентилів)

Скоригований на зміщення й прискорений (BCa) інтервал:
  Коригує зміщення та асиметрію в бутстреп-розподілі
  Переважний порівняно з простим методом процентилів для малих вибірок

Чому це працює (ідея Ефрона):
  Емпіричний розподіл F̂ₙ сходиться до істинного F при n → ∞
  Світ бутстрепу:  F̂ₙ → F̂ₙ  (відомий точно)
  Реальний світ:   F̂ₙ → F    (невідома ціль)
  Дві мінливості вибірки асимптотично рівні

Ключові переваги:
  • Працює для будь-якої статистики (середнє, медіана, кореляція, Джині тощо)
  • Немає припущення нормальності
  • Обробляє складні схеми вибірки
  • Довірчі інтервали для продуктивності ML-моделей (крос-валідація)

Симуляція бутстреп-ресемплінгу візуалізує кожну з понад 1 000 повторних вибірок як маленьку крапку на точковому графіку, наживо будуючи бутстреп-розподіл. Повзунок, що вводить викид, дозволяє додати одне екстремальне значення у вихідну вибірку й дивитися, як довірчі інтервали розширюються в реальному часі — графічно демонструючи, наскільки стійкі бутстреп-ДІ порівняно з t-інтервалами, коли припущення порушені.

Усі сім симуляцій одним поглядом

Глибший зв'язок

Ці сім симуляцій — не ізольовані теми, вони утворюють цілісний інтелектуальний ланцюг. ЦГТ пояснює, чому нормальні розподіли з'являються всюди, що обґрунтовує t-тест і OLS-регресію. Баєсівський висновок дає каркас для оновлення будь-якої оцінки ймовірності, включно з параметрами регресійної моделі. Ланцюги Маркова лежать в основі MCMC (Марковський ланцюг Монте-Карло) — техніки для вибірки зі складних баєсівських апостеріорних розподілів. Парадокс днів народження — окремий випадок ймовірності колізії в хеш-таблицях і майнінгу криптовалют. А розподіл Максвелла-Больцмана — це ЦГТ, застосована до 10²³ молекул газу: та сама математика, що пояснює вибіркові середні, керує й термодинамікою.

Статистика — не набір формул для завчання, а спосіб мислення про невизначеність, докази та висновки. Кожна симуляція тут будує одну кімнату в цій ментальній архітектурі — а разом вони утворюють дім для кількісного мислення.