Регресійний аналіз та прогнозування

🎓 Типи регресії

Лінійна регресія

Формула: y = β₀ + β₁x + ε, де β₀ — інтерцепт, β₁ — нахил, ε — помилка.

Метод найменших квадратів: Мінімізує суму квадратів помилок (SSE). Знаходить оптимальні β через диференціювання.

Припущення: Лінійність, незалежність помилок, нормальність помилок, гомоскедастичність (постійна дисперсія).

Переваги: Простота, інтерпретативність, швидкість, не потребує багато даних.

Недоліки: Припускає лінійність, чутлива до викидів, не працює для складних патернів.

Множинна регресія

Формула: y = β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ + ε. Враховує багато змінних.

Мультиколінеарність: Сильна кореляція між змінними ускладнює інтерпретацію. Перевіряти через VIF (Variance Inflation Factor).

Feature selection: Вибір важливих змінних через stepwise selection, LASSO, або domain knowledge.

Переваги: Враховує багато факторів, більш точна за лінійну.

Логістична регресія

Призначення: Бінарна класифікація (0/1). Передбачає ймовірність належності до класу.

Формула: p = 1 / (1 + e^(-z)), де z = β₀ + β₁x₁ + ... + βₙxₙ. Сигмоїдна функція обмежує вихід між 0 та 1.

Інтерпретація: Коефіцієнти інтерпретуються як лог-odds. Exp(β) показує зміну odds при зміні змінної на 1.

Застосування: Медична діагностика, фінанси (дефолт), маркетинг (конверсія).

Нелінійні моделі

Поліноміальна регресія: y = β₀ + β₁x + β₂x² + ... Моделює криві. Схильна до переобучення.

Сплайни: Поліноміальні функції на інтервалах. Гнучкі, добре для нелінійних залежностей.

GAM (Generalized Additive Models): Комбінує лінійні та нелінійні компоненти. Гнучкі, інтерпретовані.

🔧 Методи оцінки та регуляризації

Метрики оцінки

R² (коефіцієнт детермінації): Частка варіації, пояснена моделлю. 0-1, вище = краще. Adjusted R² враховує кількість змінних.

RMSE (Root Mean Squared Error): Середня помилка в одиницях цільової змінної. Нижче = краще. Чутливий до викидів.

MAE (Mean Absolute Error): Середня абсолютна помилка. Менш чутливий до викидів за RMSE.

MAPE (Mean Absolute Percentage Error): Відносна помилка у відсотках. Добре для порівняння різних масштабів.

Регуляризація

Ridge (L2): Додає штраф за квадрат ваг. Зменшує величину ваг, зменшує мультиколінеарність. Не видаляє змінні.

LASSO (L1): Додає штраф за абсолютну суму ваг. Може обнулити ваги, виконуючи feature selection. Корисний для багатьох змінних.

Elastic Net: Комбінація L1 та L2. Балансує обидва підходи.

📊 Перевірка припущень

Діагностика моделі

Нормальність залишків: Q-Q plots, Shapiro-Wilk test. Порушення впливає на довірчі інтервали.

Гомоскедастичність: Residuals vs fitted plots. Порушення впливає на стандартні помилки.

Незалежність: Durbin-Watson test для автокореляції. Важливо для часових рядів.

Викиди: Leverage, Cook's distance для виявлення впливових точок.

📚 Практичні приклади

Приклад 1: Лінійна регресія для прогнозування ціни

Підготовка: Зібрати дані (площа, кількість кімнат, локація, ціна). Підготувати змінні.

EDA: Перевірити кореляції, розподіли, викиди. Візуалізувати зв'язки.

Модель: Побудувати лінійну регресію. Перевірити припущення (нормальність, гомоскедастичність).

Оцінка: R², RMSE, MAE. Перевірити коефіцієнти на значущість.

Прогнози: Використати модель для прогнозування цін нових об'єктів.

Приклад 2: Логістична регресія для класифікації

Підготовка: Зібрати дані (ознаки, бінарна цільова змінна). Підготувати категоріальні змінні (one-hot).

Модель: Побудувати логістичну регресію. Перевірити мультиколінеарність.

Оцінка: Accuracy, Precision, Recall, ROC-AUC. Перевірити коефіцієнти.

Інтерпретація: Інтерпретувати odds ratios. Визначити важливі фактори.

© 2025 Науковий Симулятор. Всі права захищені.

Регресійний аналіз: передбачення та моделювання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.