Ця симуляція наочно демонструє, як статистичний критерій перевіряє гіпотезу: вибирається між нульовою гіпотезою H₀ та альтернативною H₁. Програма генерує випадкові вибірки з нормального розподілу, обчислює тестову статистику та перетворює її на двосторонє p-значення за t-розподілом (або за розподілом χ² для критерію згоди). Верхній графік показує нульовий і альтернативний розподіли з виділеною областю відхилення; нижній графік накопичує емпіричний розподіл p-значень по всіх спробах.
Ви обираєте тип тесту (одновибірковий t, двовибірковий t або χ² критерій згоди) та налаштовуєте розмір вибірки n, справжній розмір ефекту δ, рівень значущості α і стандартне відхилення генеральної сукупності σ. Кожен запуск випадково вибирає або справжню нульову, або альтернативну ситуацію, тому накопичені лічильники похибок I та II типу і правильних рішень наочно показують, як потужність = 1−β залежить від ваших параметрів — саме ця логіка використовується дослідниками при плануванні клінічних випробувань, A/B-тестів та контролю якості.
Що таке перевірка гіпотез?
Перевірка гіпотез — це процедура, яка допомагає вирішити, чи узгоджуються дані вибірки з базовим припущенням, що називається нульовою гіпотезою. Обчислюється тестова статистика, оцінюється, наскільки несподіваним був би такий результат при нульовій гіпотезі, і якщо ця несподіваність (p-значення) менша за обраний поріг, нульова гіпотеза відхиляється. Симулятор дозволяє спостерігати за цим рішенням упродовж багатьох випадкових вибірок.
Що означає p-значення тут?
p-значення — це ймовірність отримати тестову статистику принаймні такої ж екстремальності, як та, що спостерігається, за умови, що нульова гіпотеза вірна. Симулятор обчислює його двосторонньо за t-розподілом, тому t-статистика, далека від нуля, дає мале p. Якщо p-значення менше α, рішення змінюється з «Не відхиляти» на «Відхилити H₀».
Що регулюють чотири повзунки?
Розмір вибірки n (5–200) задає кількість спостережень у кожній спробі; розмір ефекту δ (0–3) — справжній зсув середнього, коли ефект присутній; рівень значущості α (0,01–0,20) задає поріг відхилення і критичне значення; стандартне відхилення σ (0,5–3) задає розкид генеральної сукупності. Більший n або δ, чи менший σ, підвищують статистичну потужність.
Для одновибіркового тесту статистика дорівнює t = x̄ ÷ √(s²/n), де x̄ — середнє вибірки, s² — вибіркова дисперсія, при n−1 ступенях вільності. Двовибіркова версія використовує різницю середніх, поділену на об'єднану стандартну похибку, при 2n−2 ступенях вільності. Критерій χ² натомість підсумовує (спостережене−очікуване)²/очікуване по чотирьох категоріях.
Похибка I типу — це відхилення вірної нульової гіпотези, тобто хибнопозитивний результат, частота якого в довгостроковому плані дорівнює α. Похибка II типу — нездатність відхилити хибну нульову гіпотезу, тобто пропущений справжній ефект, із частотою β. Лічильники на панелі підраховують обидва типи під час запуску, дозволяючи переконатися, що частота похибок I типу тримається поблизу обраного α.
Потужність — це ймовірність правильно відхилити нульову гіпотезу за наявності справжнього ефекту розміром δ, що дорівнює 1−β. Симулятор оцінює її за параметром нецентральності δ÷(σ/√n) відносно критичного значення. Збільшення n або δ, або зменшення σ, зсуває альтернативний розподіл глибше в область відхилення та підвищує відображувану потужність.
Коли нульова гіпотеза вірна, p-значення рівномірно розподілені між 0 і 1, тому нижня гістограма вирівнюється до пунктирної референсної лінії для нульових спроб. Коли присутній справжній ефект, p-значення скупчуються поблизу нуля. Оскільки кожен запуск є сумішшю нульових і ефективних ситуацій у пропорції 50:50, ви бачите поєднання обох форм.
Математика є справжньою: вибірки генеруються з нормального розподілу полярним методом Бокса–Мюллера, а функції розподілу t і χ² обчислюються за допомогою розкладів у неперервні дроби та ряди для неповних бета- і гамма-функцій. Показник потужності використовує нормальне наближення до нецентрального t-розподілу, тому це точна оцінка, а не табличне точне значення.
Одновибірковий t-тест перевіряє, чи відрізняється середнє однієї групи від еталонного значення. Двовибірковий t-тест порівнює середні двох незалежних груп. Критерій згоди χ² перевіряє, чи відповідають спостережувані частоти категорій очікуваному розподілу — тут чотири категорії порівнюються з рівномірним розподілом. Кожен тест використовує різні ступені вільності і різний розподіл статистики.
Критичне значення позначає межу області відхилення, і зменшення α вимагає вагоміших доказів, відсуваючи цю межу далі у хвости. Симулятор знаходить його методом бісекції для t або χ² так, щоб площа хвоста дорівнювала α. Менше α зменшує кількість похибок I типу, але за рівних інших умов знижує потужність і збільшує кількість похибок II типу.
Та сама структура лежить в основі клінічних випробувань, A/B-тестів у програмному забезпеченні, польових агрономічних дослідів і контролю якості у виробництві. Дослідники використовують аналіз потужності — саме компроміс між n, δ, σ та α, показаний тут — щоб обрати достатній розмір вибірки для виявлення значущого ефекту при прийнятно низьких частотах хибнопозитивних і хибнонегативних результатів ще до збору даних.