Wymiar Błędu i Zmienności: Dlaczego Każde Modele Musi Wybrać Swoje Błędy

Dwa zupełnie różne sposoby na to, by model był nieprawidłowy

Każde modelowanie predykcyjne generuje błędy, ale nie wszystkie pochodzą z tego samego źródła. Wyobraź sobie szkolenie tego samego rodzaju modelu na kilku różnych losowych próbach pobranych z tej samej podległej populacji – np. na kilku różnych ankizach dotyczących cen nieruchomości w tym samym mieście. Model o wysokiej wartości błędu skłonny jest do popełniania tych samych, systematycznych błędów niezależnie od tego, na którym zbiorze danych był szkolony; mógłby stale przeceniać ceny w drogich dzielnicach, niezależnie od tego, które domy przypadkiem znalazły się w jego konkretnym zbiorze treningowym, ponieważ model ten jest zbyt prosty, aby reprezentować tę relację. Model o wysokiej zmienności, z kolei, generuje bardzo różne prognozy w zależności od konkretnego zbioru danych, na którym był szkolony – niewielka zmiana w zbiorze domów danych treningowych prowadzi do zauważalnie innego i często znacznie mniej niezawodnego modelu.

Błąd to błąd wynikający z błędnych założeń wbudowanych w model – różnica między tym, co model może reprezentować, a tym, jak wygląda rzeczywista podległa relacja. Zmienność to błąd wynikający z nadmiernej wrażliwości na specyficzne cechy i szumy jednego zbioru danych treningowych. Krótki opis: wysoka wartość błędu oznacza, że model konsekwentnie pomija cel w tym samym kierunku; wysoka zmienność oznacza, że strzały modelu są rozrzucone wszędzie po celu, nieprzewidywalne z jednej próby do następnej.

Niedostrajanie i przeuczenie są widocznymi symptomami

Błąd i wariancja są podległymi przyczynami statystycznymi; niedostrajanie i przeuczenie to to, co faktycznie obserwujesz, gdy oceniasz model. Model niedostrojony (wysoki błąd) słabo radzi sobie nawet na danych, na których był trenowany, ponieważ jest zbyt prosty, aby uchwycić rzeczywisty wzór – dopasowanie linii prostej do relacji, która w istocie jest krzywoliniowa, to klasyczny przykład. Zarówno dokładność treningowa, jak i dokładność walidacyjna będą rozczarowująco niskie i podobne do siebie, ponieważ ograniczenie modelu wynika z jego struktury, a nie z zapamiętywania szumu.

Model przeuczony (wysoka wariancja) robi to odwrotnie: osiąga doskonałą, czasem bliską perfekcji dokładność na danych treningowych, ponieważ ma wystarczającą elastyczność, aby zapamiętać konkretne przykłady, które widział – w tym ich szum, wartości odstające i przypadkowe wzorce, które nie uogólniają się. Przy ocenie nowych, niewidzianych danych walidacyjnych wydajność spada zauważalnie. Ta przepaść między wydajnością treningową a wydajnością walidacyjną jest najcenniejskim sygnałem diagnostycznym w zastosowaniu uczenia maszynowego: szeroka przepaść wskazuje na przeuczenie (wariancja), podczas gdy jednolita słaba wydajność w obu zestawach wskazuje na niedostrajanie (błąd).

Dlaczego nie można minimalizować obu naraz

Słowo "tradeoff" (wyjądek) tutaj robi realną robotę: redukcja błędów i redukcja wariancji generalnie popychają model w przeciwnych kierunkach. Zwiększanie złożoności modelu — dodawanie więcej cech, więcej wyrazistych wielomianów, więcej warstw, większej głębokości drzew decyzyjnych — pozwala mu reprezentować bardziej skomplikowane relacje, co redukuje błąd, ponieważ model jest teraz wystarczająco elastyczny, aby wierniej odzwierciedlić prawdziwy podrzędny wzór. Ale ta sama dodana elastyczność daje modelowi więcej możliwości dopasowania szumu specyficznego dla próbki treningowej, co zwiększa wariancję.

Narysowane względem rosnącej złożoności modelu, błąd treningowy spada nieustannie — wystarczająco złożony model zawsze może lepiej pasować do swoich danych treningowych, aż po prostu je zapamięta doskonale. Błąd walidacyjny natomiast rysuje się krzywą w kształcie litery U lub J: najpierw spada, ponieważ zwiększająca się złożoność pomaga modelowi uchwycić prawdziwe wzorce, osiąga minimum na pewnym „idealnym” punkcie złożoności, a następnie rośnie ponownie, gdy dodatkowa złożoność zaczyna dopasowywać szum zamiast sygnału. Oczekiwany całkowity błąd, jaki popełnia model na nowych danych, można matematycznie rozłożyć na trzy dodane elementy: kwadrat błędu, wariancję i nieodłączny szum inherentny problemowi (błąd pomiarowy, prawdziwie losowe czynniki), którego żaden model, niezależnie od tego, jak dobry, nie może wyeliminować. Praktycznym celem selekcji modelu jest znalezienie punktu na tym osi złożoności, w którym suma błędu i wariancji jest najmniejsza — nie zero błędu, nie zero wariancji, ale najlepszy dostępny balans.

Diagnostkowanie pozycji modelu

Wykreślanie krzywych uczenia się — błędu treningowego i walidacyjnego w zależności od ilości użytego danych treningowych — jest jednym z najbardziej bezpośrednich sposobów na zdiagnozowanie, czy model cierpi bardziej na bias niż na wariancję. Jeśli obie krzywe zbiegają się do podobnie słabego poziomu błędu wraz ze wzrostem ilości danych, a dodawanie więcej danych nie zmniejsza tej różnicy, model jest niedouczony; rozwiązaniem jest zwiększenie złożoności modelu (więcej cech, bardziej elastyczny algorytm) zamiast zbierać więcej danych. Jeśli krzywa treningowa utrzymuje się na niskim poziomie, a krzywa walidacyjna pozostaje znacznie wyższa, nawet przy dodawaniu większej ilości danych, model jest przeszczepiony; tutaj dodatkowe dane treningowe, regularyzacja lub prostsza architektura modelu prawdopodobnie bardziej pomogą niż dodawanie cech.

Krzyżowa walidacja, polegająca na wielokrotnym podziale zestawu danych na różne części treningowe i walidacyjne oraz uśrednianiu wyników, daje znacznie bardziej wiarygodne odczyt tej różnicy niż pojedyncze podział tren/walidacja, zwłaszcza w przypadku mniejszych zbiorów danych, gdzie przypadkowy niekorzystny podział mógłby dać mylne wrażenie pozycji modelu na spektrum złożoności.

Praktyczne narzędzia do zmiany równowagi

Kiedy zdiagnozujesz, po której stronie tego kompromisu model ma problemy, szereg standardowych technik może przesunąć go w kierunku idealnego punktu. Aby zmniejszyć błąd (walczyć z niedostosowaniem): użyj bardziej elastycznej klasy modelu, dodaj bardziej informatyczne cechy, zmniejsz siłę regularizacji lub trenuj dłużej. Aby zmniejszyć zmienność (walczyć z przetrenowaniem): zbierz więcej danych treningowych, zastosuj regularizację (kary L1/L2, które zniechęcają do zbyt dużych wag, lub dropout w sieciach neuronowych), zmniejsz złożoność modelu (mniej cech, drzewa o mniejszej głębokości, mniej warstw), użyj metod zespołowych, które średnią wartość wielu modeli, aby wyeliminować zmienność poszczególnych modeli, lub zatrzymaj trening wcześniej, gdy wydajność walidacyjna przestanie się poprawiać. Rozpoznawanie, że te dźwignie działają w przeciwnych kierunkach na desce błędu-zmienności – i wybieranie tej właściwej, która odpowiada zaobserwowanemu objawowi, zamiast stosowania ogólnego rozwiązania – jest jedną z najbardziej cennych umiejętności diagnostycznych w praktycznej pracy z uczeniem maszynowym.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz the simulation i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.