Регресійний аналіз

Лінійна регресія

Модель: y = Xβ + ε. Оцінювання через МНК: β̂ = (XᵀX)⁻¹Xᵀy. Припущення: лінійність, незалежність, гомоскедастичність, нормальність помилок.

Діагностика

Перевіряйте залишки, графіки QQ, гетероскедастичність (тести Бройша–Пагана), впливові точки (Cook's distance).

Мультиколінеарність

VIF > 10 — сигнал проблем; застосовуйте регуляризацію або відбір ознак.

Регуляризація

Ridge : L2-штраф, зменшує варіанс, не обнуляє коефіцієнти.

Lasso : L1-штраф, виконує відбір ознак (sparse рішення).

Elastic Net : комбінація L1/L2, баланс між відбором і стабільністю.

Розширення

Поліноміальна регресія і терміни взаємодії.

Робастні методи (Huber, Tukey) проти викидів.

GLM : логістична, Пуассонова, Gamma-регресія.

Перевірка гіпотез і інтервали

t-тести для коефіцієнтів, F-тест для порівняння моделей, довірчі інтервали для прогнозів, бутстрап-оцінки для складних випадків.

Приклади

Вибір моделі

Крос-валідація, AIC/BIC, регуляризація; уникайте перенавчання, оцінюйте стабільність коефіцієнтів.

Інтерпретація

Стандартизуйте ознаки для порівнянності ефектів; аналізуйте взаємодії та часткові залежності.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Spirograph і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.