Бутстрап методи

Що таке бутстрап?

Бутстрап — це сімейство методів повторної вибірки з поверненням із наявних даних для наближеного оцінювання розподілу статистики (середнього, медіани, коефіцієнтів регресії тощо). Метод мінімізує залежність від асимптотичних припущень і добре працює для невеликих вибірок.

Базовий алгоритм

Маємо вибірку з n спостережень X = {x₁,…,xₙ}.

Для b = 1…B: згенерувати бутстрап-вибірку X*ᵇ шляхом вибірки з поверненням розміру n.

Обчислити статистику θ*ᵇ = s(X*ᵇ).

Використати емпіричний розподіл {θ*ᵇ} для оцінки SE, зсуву, довірчих інтервалів.

Типи довірчих інтервалів

Перцентильний

Інтервал [qα/2, q1−α/2] квантилів емпіричного розподілу θ*ᵇ. Простий і часто надійний.

BCa (Bias-Corrected and Accelerated)

Коригує зсув і асиметрію, зазвичай має кращу покритість на малих вибірках.

Бутстрап t

Використовує стандартизовану статистику t* = (θ*−θ̂)/SE*, що може бути точнішим для деяких функціоналів.

Варіанти бутстрапу

Параметричний бутстрап : генерує дані з оціненого параметричного розподілу.

Непараметричний бутстрап : вибірка з поверненням із наявних даних.

Парний бутстрап для регресії : ресемпл пар (xᵢ, yᵢ).

Залишковий бутстрап : ресемпл залишків з подальшим відтворенням ŷ + e*.

Блоковий бутстрап для часових рядів: ресемпл блоків для збереження автокореляції.

Практичний гід з прикладами

Оцінка медіани

Обчисліть B=10 000 бутстрап-реалізацій медіани; SE — стандартне відхилення цих значень; 95% CI — перцентильний або BCa.

Регресія

Для стійких CI коефіцієнтів: використайте парний або залишковий бутстрап; для часових рядів — блоковий.

Часті помилки

Замалий B, що дає нестабільні інтервали.

Ігнорування залежностей у даних (потрібен блоковий бутстрап).

Неправильний вибір варіанта для регресії.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Spirograph і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.