Імовірність як переконання: баєсівська перспектива
У частотному підході ймовірність — це гранична частота події за нескінченної кількості випробувань. У баєсівському підході ймовірність — це ступінь переконання: міра того, наскільки ви впевнені, зважаючи на наявні докази. Обидві інтерпретації математично узгоджені, але баєсівське мислення дозволяє оновлювати переконання в міру надходження доказів.
Теорема Баєса — це просто перевпорядкована формула умовної ймовірності. Але це перевпорядкування несе величезну практичну вагу: воно показує, як перетворити апріорне переконання P(H) — до того, як побачено дані — на апостеріорне переконання P(H|E) після спостереження доказу E.
Теорема Баєса
P(H | E) = P(E | H) · P(H) / P(E)
Апостеріорна = Правдоподібність × Апріорна / Доказ
P(E) = Σ P(E | Hᵢ) · P(Hᵢ) [закон повної ймовірності]
Приклад медичного тесту:
Поширеність хвороби P(D) = 0.01 (1 з 100)
Чутливість тесту P(+|D) = 0.99, специфічність P(−|¬D) = 0.99
P(D|+) = 0.99×0.01 / (0.99×0.01 + 0.01×0.99) = 50%
Позитивний тест на рідкісну хворобу надійний лише на 50%!
Баєсівський висновок
Інтерактивна теорема Баєса: криві апріорної / правдоподібності / апостеріорної, що оновлюються наживо. Сценарій медичного тесту з повзунками поширеності, чутливості й специфічності. Побачите, чому позитивний результат для рідкісної хвороби часто оманливий.
Бутстреп-ресемплінг
Побудуйте довірчі інтервали для будь-якої статистики шляхом повторної вибірки ваших даних із поверненням. Спостерігайте, як бутстреп-розподіл сходиться до істинного розподілу вибірки зі зростанням кількості повторних вибірок.
Нехтування базовою частотою — одна з найпоширеніших помилок мислення. Люди регулярно ігнорують P(H) при інтерпретації діагностичних тестів, судових доказів і оцінок ризику — надмірно зважуючи правдоподібність P(E|H) і забуваючи, наскільки рідкісна гіпотеза. Баєсівське мислення — протиотрута: завжди оновлюйте від апріорної ймовірності.
Центральна гранична теорема
Центральна гранична теорема (ЦГТ) — мабуть, найважливіший результат у статистиці. Вона стверджує: незалежно від форми розподілу генеральної сукупності, розподіл вибіркового середнього X̄ n незалежних однаково розподілених випадкових величин наближається до нормального розподілу при n → ∞, із середнім μ і стандартним відхиленням σ/√n.
Це пояснює, чому нормальний розподіл трапляється всюди в науці вимірювань: ви завжди вимірюєте суму (або середнє) багатьох малих незалежних внесків. Інтенсивність світла від теплового джерела, час реакції в психології, зріст у популяції — усе це суми численних мікроефектів, тож усе приблизно слідує нормальному розподілу.
Центральна гранична теорема
5 вихідних розподілів (рівномірний, експоненційний, бімодальний, Пуассона, зі скосом праворуч). Повзунок розміру вибірки n=1..200. Анімоване накопичення гістограми вибіркового середнього з накладеним нормальним наближенням. Живе порівняння емпіричних μ/σ з теоретичним σ/√n.
Парадокс днів народження
Точна крива P(n) + симуляція Монте-Карло (Uint8Array(365) для швидкості). Два подання: графік ймовірності та кільце кімнати зі слотами на 365 днів. 50-відсотковий перетин настає лише при 23 людях — більшість вважає це неймовірним, доки не бачить анімацію.
Центральна гранична теорема — ключові результати
E[X̄] = μ (незміщена оцінка)
Var[X̄] = σ²/n (дисперсія зменшується з n)
SE[X̄] = σ/√n (стандартна похибка)
Z-оцінка: Z = (X̄ − μ) / (σ/√n) → N(0,1)
Парадокс днів народження P(≥1 збіг серед n людей):
P = 1 − 365!/((365−n)! · 365ⁿ)
P(23) ≈ 0.507 P(50) ≈ 0.970 P(70) ≈ 0.999
Ланцюги Маркова: процеси без пам'яті
Ланцюг Маркова — це послідовність випадкових величин, де ймовірність наступного стану залежить лише від поточного стану — а не від історії. Ця марковська властивість («відсутність пам'яті») — потужне модельне припущення: переходи погоди, PageRank, стани експресії генів, розорення гравця та рекомендаційні системи — усе це марковські моделі.
За слабких умов (незвідність і аперіодичність) будь-який скінченний ланцюг Маркова збігається до єдиного стаціонарного розподілу π — вектора ймовірностей, що задовольняє π = πP, де P — матриця переходів. Швидкість збіжності визначається другим за величиною власним числом P: |λ₂| ≪ 1 означає швидке перемішування.
Ланцюги Маркова
Анімована діаграма переходів станів, випадкове блукання й живе порівняння емпіричного та теоретичного стаціонарного розподілу (степенева ітерація). Пресети: погода, PageRank, розорення гравця, генетика, випадковий 4-станів. Редагуйте ймовірності переходів наживо.
π за методом Монте-Карло
Класична оцінка π методом кидання дротиків: випадкові точки в одиничному квадраті, підрахунок тих, що всередині чверті кола. Живий графік збіжності, смуга σ-похибки й порівняння з точним значенням. Розширений режим: висока точність зі зменшенням дисперсії.
Ланцюг Маркова — стаціонарний розподіл
Матриця переходів P: P[i][j] = P(стан j | стан i)
Кожен рядок дає в сумі 1: Σⱼ P[i][j] = 1
Стаціонарна умова: π · P = π
Степенева ітерація: πₜ₊₁ = πₜ · P (збігається до π*)
Час перемішування: τ ∝ 1/|ln(λ₂)| (λ₂ = друге власне число)
Детальна рівновага (оборотність): πᵢ Pᵢⱼ = πⱼ Pⱼᵢ
Лінійна регресія: звичайні найменші квадрати
Маючи n точок даних (xᵢ, yᵢ), метод звичайних найменших квадратів (МНК) знаходить пряму y = mx + b, що мінімізує суму квадратів залишків SSE = Σ(yᵢ − mxᵢ − b)². Розв'язок має замкнену форму — не потрібна ітеративна оптимізація. А оскільки МНК еквівалентний максимальній правдоподібності за гаусового шуму, це також правильна баєсівська оцінка з рівномірною апріорною.
Коефіцієнт детермінації R² вимірює, яку частку дисперсії y пояснено через x: R² = 1 − SSE/SST, де SST = Σ(yᵢ − ȳ)². R² = 1 означає ідеальне узгодження; R² = 0 означає, що модель нічого не пояснює. Важливо, що R² не може сказати вам, чи правильна модель — лише чи узгоджується вона. Нелінійна залежність може дати R² ≈ 0 для лінійного узгодження, навіть якщо існує ідеальна функціональна залежність.
Лінійна регресія (МНК)
Діаграма розсіювання 640×400: клацніть, щоб додати/перетягнути/ видалити точки, жива лінія МНК, нахил m/зсув b/R²/кореляція Пірсона r/SSE. Залишки як пунктирні вертикалі. 5 готових наборів даних: випадковий, ідеальний, з викидом, без кореляції, квадратичний (демонструє межі лінійного узгодження).
Кластеризація K-Means
Ініціалізація K-Means++ із зонами Вороного, метод ліктя K=2..8, клацніть, щоб додати точки. Три генератори даних: плями, півмісяці, кільця. Сліди траєкторії центроїдів. Спостерігайте, як критерій ліктя знаходить справжню кількість кластерів.
Звичайні найменші квадрати — розв'язок у замкненій формі
Нахил: m = (n Σxᵢyᵢ − Σxᵢ Σyᵢ) / (n Σxᵢ² − (Σxᵢ)²)
Зсув: b = (Σyᵢ − m Σxᵢ) / n = ȳ − m·x̄
Кореляція Пірсона r = m · σₓ / σᵧ
R² = r² (для простої лінійної регресії)
SSE = Σ(yᵢ − mxᵢ − b)² (сума квадратів залишків)
SST = Σ(yᵢ − ȳ)² (загальна сума квадратів)
R² = 1 − SSE/SST
Розвиток інтуїції: несподіванки в теорії ймовірності
Багато результатів теорії ймовірності суперечать наївній інтуїції. Три канонічні приклади:
- Парадокс днів народження: достатньо лише 23 людей для 50%-вої ймовірності збігу дня народження. Наш мозок зациклюється на «скільки пар збігаються зі мною?» (1/365 кожна), ігноруючи O(n²) пар.
- Медичне тестування: 99%-точний тест на хворобу, що вражає 1% популяції, дає позитивну прогностичну цінність лише ~50% — рівноцінно підкиданню монети. Домінує базова частота.
- Розорення гравця: у чесній грі (p = 0.5) гравець зі скінченним капіталом врешті-решт розориться з імовірністю 1, незалежно від того, як довго він грає. Ланцюг Маркова тут — випадкове блукання з поглинальними бар'єрами — і поглинальний стан є розоренням.
Закон великих чисел проти центральної граничної теореми. Ці два результати часто плутають. ЗВЧ каже, що X̄ → μ при n → ∞ (середнє сходиться до істинного середнього). ЦГТ каже, що коливання X̄ навколо μ сходяться до нормального розподілу — вона кількісно описує швидкість збіжності в ЗВЧ. ЦГТ — глибший результат: вона показує не лише те, що ви сходитеся, а точно, як швидко і якої форми.
Методи Монте-Карло: симуляція як інтегрування
Монте-Карло — це будь-який алгоритм, що використовує випадкову вибірку для обчислення детермінованої величини. Найвідоміший приклад — оцінка π — вибирає рівномірні точки в одиничному квадраті й підраховує ті, що всередині вписаного кола. Але справжня сила Монте-Карло — у багатовимірному інтегруванні: тоді як методи квадратур зростають експоненційно за вартістю з вимірністю, похибка Монте-Карло завжди O(1/√n) незалежно від вимірності. Для інтегралів розмірності d ≥ 5 Монте-Карло зазвичай єдиний практичний метод.
Бутстреп — це процедура Монте-Карло для кількісної оцінки невизначеності: повторно вибирайте ваш набір даних із поверненням B разів, обчисліть вашу статистику (середнє, медіану, кореляцію, нахил регресії) на кожній повторній вибірці, і емпіричний розподіл цих значень наближає істинний розподіл вибірки статистики. Не потрібні параметричні припущення.