Regresja liniowa: Co w rzeczywistości minimalizuje OLS

Dopasowanie linii minimalizacją błędu kwadratowego

Zwykłe najmniej kwadratowe (OLS) znajduje linię ŷ = β₀ + β₁x, która najlepiej pasuje do rozrzutu punktów, minimalizując sumę kwadratów pionowych odległości między każdym punktem a linią — reszty. Kwadratowanie wykonuje dwie czynności jednocześnie: sprawia, że wszystkie reszty są dodatnie, aby nie mogły się zniwelować, i karze duże błędy znacznie bardziej niż małe, co powoduje, że dopasowana linia jest ciągnięta w kierunku zmniejszenia jakiegoś dużego błędu. Linia minimalizująca tę sumę posiada rozwiązanie analityczne, bez potrzeby iteracji, co stanowi jedną z przyczyn, dla których OLS pozostaje domyślnym punktem wyjścia przez dwa wieki statystyki aplikowanej.

Równania normalne

Ustawienie pochodnej sumy kwadratów reszt do zera dla β₀ i β₁ daje dwa równania liniowe – równania normalne – z bezpośrednim rozwiązaniem w oparciu o średnie i kowariancję danych:

nachylenie: beta1 = suma((x_i - x̄) * (y_i - ȳ)) / suma((x_i - x̄)^2) punkt przecięcia: beta0 = ȳ - beta1 * x̄ coincidentnie, w formie kowariancyjnej: beta1 = kov(x, y) / var(x) Następnie bezpośrednio wynikają z tego wyprowadzenia dwie konsekwencje. Po pierwsze, wygenerowana linia zawsze przechodzi przez punkt średnich, (x̄, ȳ) – wystarczy wstawić x̄ do wzoru na ŷ i beta0 dokładnie się to eliminuje. Po drugie, reszty zawsze sumują się do zera i są niezależne od x, co wynika z konstrukcji, a nie przypadkiem; to właśnie te równania, które OLS jest wyrazem zaprojektowane do spełnienia, a nie właściwości, które należy weryfikować później.

slope:      beta1 = sum((x_i - x_bar) * (y_i - y_bar)) / sum((x_i - x_bar)^2)
intercept:  beta0 = y_bar - beta1 * x_bar

equivalently, in covariance form:  beta1 = cov(x, y) / var(x)

Współczynnik determinacji i r Pearsona

r Pearsona mierzy siłę i kierunek związku liniowego, przyjmując wartości od -1 (idealnie negatywny) do +1 (idealnie pozytywny), przy czym 0 oznacza brak związku liniowego. Współczynnik determinacji (R-squared), czyli współczynnik wyznaczenia, jest po prostu r² w przypadku regresji liniowej prostej i ma bezpośrednią interpretację: ułamek całkowitej wariancji w y, który wyjaśnia linia. Wartość R² równa 0,81 oznacza, że linia wyjaśnia 81% rozrzutu w y; pozostałe 19% jest niezrozumiane – szumy, pominięte zmienne lub rzeczywista nieliniowość, której linia nie może uchwycić.

R^2 = 1 - SS_res / SS_tot
SS_res = sum((y_i - y_hat_i)^2)       // squared error the line leaves behind
SS_tot = sum((y_i - y_bar)^2)         // squared error a flat mean-only line leaves behind

Założenia OLS opierają się na nich cicho

Twierdzenie Gaussa-Markowa gwarantuje, że metoda OLS jest najlepszym liniowym nieobciążonym oszacowaniem – najniższą wariancją liniowym oszacowaniem wśród wszystkich nieobciążonych – pod warunkiem spełnienia kilku założeń: prawdziwa relacja jest liniowa względem parametrów, reszty mają stałą wariancję (homoscedystyczność), reszty są niezależne od siebie oraz predyktor jest mierzony bez błędu. Naruszenie homoscedystyczności powoduje, że linia i jej standardowe błędy pozostają nieobciążone, ale ich współczynniki i, co za tym idzie, każdy przedział ufności lub wartość p oparta na nich staje się niewiarygodny. Dlatego też tworzenie wykresów reszt w odniesieniu do wartości dopasowania jest standardową praktyką – wykres resztowy, który rozciąga się w kształt konicy lub systematycznie zakrzywia, sygnalizuje, że założenia modelu zawiodły, nawet jeśli R² nadal wygląda na rozsądny.

Korelacja, przyczynowość i problem odchyleń

Wysoka wartość R² oznacza, że linia dobrze pasuje do obserwowanych danych; nie mówi nic o tym, czy x powoduje y – obie mogą być napędzane przez wspólny trzeci czynnik lub czy strzałka przyczynowa działa w drugą stronę. Oddzielnie, kwadratowanie reszt przez OLS jest największym problemem praktycznym tego podejścia: ponieważ duże błędy są karane kwadratowo, pojedynczy ekstremalny odchylenie może znacznie pociągnąć zgiętą linię, o wiele bardziej niż typowy punkt. Praktycy radzą sobie z tym, sprawdzając statystyki lejage i wpływu (np. odległość Cooka) lub przechodząc na metody regresji odpornej, które mniej agresywnie karcą duże reszty niż kwadratowanie.

Frequently asked questions

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Linear Regression i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.