Лінійна регресія: Що насправді мінімізує OLS

Оцінка найкращої лінії за допомогою методів найменших квадратів

Найменші квадрати (OLS) знаходить лінію ŷ = β₀ + β₁x, яка найкраще відповідає розсіяним точкам, мінімізуючи суму квадратів вертикальних відстаней між кожною точкою та лінією — залишками. Піднесення до квадрату виконує дві функції одночасно: воно робить усі залишки позитивними, щоб вони не могли взаємно компенсуватись, і карає великі помилки набагато більше, ніж маленькі, що змушує лінію, що мінімізується, зменшувати будь-яку велику відмову. Лінія, яка мінімізує цю суму, має замкнене рішення, яке не потребує ітерацій, що є однією з причин, чому OLS залишався стандартним початком протягом двох століть застосованої статистики.

Нормальні рівняння

Встановлення похідної від суми квадратів залишків до нуля для обох β₀ та β₁, дає дві лінійні рівняння — нормальні рівняння, з прямим розв’язком у термінах середніх значень і коваріації даних:

нахил: beta1 = сума((x_i - x̄) * (y_i - ȳ)) / сума((x_i - x̄)^2) перетин: beta0 = ȳ - beta1 * x̄ еквівалентно, у коваріаційній формі: beta1 = cov(x, y) / var(x) З цього випливає дві безпосередні наслідки. По-перше, нахилена лінія завжди проходить через точку середніх значень, (x̄, ȳ) — підставте x̄ у формулу для ŷ і beta0 точно зникає. По-друге, залишки завжди сумуються до нуля та не корелюють із x за конструкцією, а не випадково; це рівняння, які OLS явно розраховані задовольняти, а не властивості, які потрібно перевіряти після того, як їх отримано.

slope:      beta1 = sum((x_i - x_bar) * (y_i - y_bar)) / sum((x_i - x_bar)^2)
intercept:  beta0 = y_bar - beta1 * x_bar

equivalently, in covariance form:  beta1 = cov(x, y) / var(x)

Оцінка моделі: R-квадрат та коефіцієнт кореляції Пірсона

Коефіцієнт Пірсона (r) вимірює силу та напрямок лінійної асоціації, варіюючись від -1 (ідеально негативна) до +1 (ідеально позитивна), де 0 означає відсутність лінійної залежності. R-квадрат, коефіцієнт детермінації, є просто r² для простої лінійної регресії та має пряму інтерпретацію: частка загальної дисперсії у y, яку пояснює лінія. R² = 0.81 означає, що лінія пояснює 81% розповсюдження у y; залишок 19% є невиявленим — шум, відсутні змінні або справжня нелінійність, яку не може захопити лінія.

R^2 = 1 - SS_res / SS_tot
SS_res = sum((y_i - y_hat_i)^2)       // squared error the line leaves behind
SS_tot = sum((y_i - y_bar)^2)         // squared error a flat mean-only line leaves behind

Припущення OLS тихо покладаються

Теорема Гаусса-Маркова гарантує, що OLS є найкращим лінійним без упередження оцінювачем — найменш дисперсійним лінійним оцінювачем серед усіх без упереджених — але лише за умови виконання певних припущень: справжня залежність лінійна щодо параметрів, залишки мають постійну дисперсію (гомоскедастичність), залишки некорельовані між собою та предиктор вимірюється без помилки. Розрив гомоскедастичності та лінії само по собі не впливає на те, чи є вона упередженою, але її стандартні помилки, і відповідно будь-який інтервал довіри або p-значення, побудоване на їх основі, стають ненадійними. Саме тому створення графіків залишків проти віднесених значень є стандартною практикою — графік залишків, який розходиться у вигляді конуса або систематично викривляється, говорить вам про те, що припущення моделі порушені, навіть якщо R² все ще виглядає гідно.

Кореляція, причинність та проблема викиду

Високий R² показує, що лінія добре відповідає спостережуваним даним; це не говорить нічого про те, чи викликає x y – обидва можуть бути зумовленими спільним третім фактором або причинна спрямованість може йти в іншому напрямку. Окремо найбільша практична слабкість OLS – квадратування залишків: великі помилки штрафуються квадратично, тому один екстремальний викид може значно спотворити нахил лінійної регресії, набагато більше, ніж звичайний пункт. Практики вирішують це, перевіряючи статистику переваг і впливу (наприклад, відстань Cook), або використовуючи методи міцної регресії, які менш агресивно штрафують великі залишки, ніж квадратування.

Frequently asked questions

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Linear Regression і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.