MLOps: Wykrywanie Przesunięć Danych i Koncepcyjnych Przesunięć zanim Zniszczą Model w Rzeczywistości

Problem: model, który był poprawny wczoraj, może być niepoprawny dzisiaj bez żadnych zmian

Model szkoleń zaszyfrowany jest jako stała funkcja: ustalone wagi, ustalone granice decyzyjne, uczone raz na podstawie historycznego zestawu danych treningowych. Świata, w którym działa, nie jest zasyfrowany. Zachowanie klientów ulega zmianom ze względu na sezon, rywal zmienia ceny i przekształca rynkowy model, który był treningowo przewidziany, nowa kategoria produktów pojawia się, której treningowe dane nigdy nie widziały, lub czujnik w górnej części procesu dostosowuje się i zaczyna raportować wartości w inny sposób. Nie dotyka to wag modelu, jednak przewidywania modelu mogą znacząco się pogorszyć, ponieważ statystyczna zależność między wejściami a wyjściami, którą nauczył się model, już nie pasuje do relacji, która obecnie panuje w świecie. To jest podstawowa przyczyna, dla której produkcji ML potrzebne jest monitorowanie, którego standardowe systemy oprogramowania nie wymagają: serwer sieciowy zwracający poprawne odpowiedzi na dobrze sformułowane żądania działa dalej tak samo, ale model może nadal zwracać poprawne, pewne przewidywania, które są cichą i stopniowo bledniejszymi, bez żadnego błędu ani wyjątku, który mógłby zwrócić uwagę na coś nieporządanego.

Dwa nazwane tryby awarii, dla których praktycy monitorują, to przesunięcie danych i przesunięcie koncepcji, a różnice między nimi mają znaczenie, ponieważ wymagają różnych reakcji. Przesunięcie danych (także nazywane przesunięciem covariate) to zmiana rozkładu wejściowych cech — model nadal koduje poprawną zależność między wejściami a wyjściami, ale teraz jest zapytany o pytania z części przestrzeni wejściowej, której podczas treningu widział rzadko lub nigdy. Przesunięcie koncepcji to zmiana samej zależności między wejściami a wyjściami — te same wejście teraz na prawdę wymaga innej odpowiedzi, ponieważ proces modelowany uległ zmianie. Model z fraudem napotkujący falę nowych rejestracji klientów z kraju, którego nigdy nie treningowo nie widział, doświadcza przesunięcia danych; model z fraudem napotkujący prawdziwe nowe techniki fraudu wykorzystujące previously-safe kombinację cech, których widział wcześniej, doświadcza przesunięcia koncepcji, a żadne dopasowanie rozkładu wejściowego nie naprawi tego drugiego problemu, ponieważ sam faktyk istnienia zmienił się.

Wykrywanie przesunięcia bez czekania na etykiety

Najtrudniejszym elementem wykrywania przesunięć w większości rzeczywistych zastosowań jest to, że prawdziwe etykiety często dotarają do modelu dopiero po dłuższym czasie lub nie dotarują do niego wcale. Etykieta prawdziwa modelu „defaultu kredytowego” — czy ta dana kredyta naprawdę się wydarzyła — może być znana dopiero po 12 do 24 miesiącach od przewidywania; klasyfikator spamu otrzymuje raporty użytkowników tylko dla małej, zbiorniczonej części swoich przewidywań; prawdziwe etykiety modelu przesunięcia (czy klient naprawdę opuścił firmę) rozwiązywane są dopiero po kilku tygodniach. Jeśli monitorowanie czekało na etykietowane wyniki, aby wykryć problem, model mógł już podjąć decyzje z osłabioną precyzją przez miesiące przed tym, jak ktoś zauważyłby, że wyniki dokładności uległy zmianie. To dlatego monitorowanie przesunięcia w środowisku produkcyjnym opiera się głównie na niezawodowych porównaniach statystycznych bez etykiet między rozkładem wejść podczas treningu a obecnym rozkładem wejść, które wymagają żadnych etykiet i mogą być wykonywane w prawie rzeczywistym czasie dla każdego pakietu przychodzącej ruchu.

Standardowymi narzędziami do tego są metryki odległości rozkładu obliczone jednostajnie dla poszczególnych cech, porównując okno referencyjne (zazwyczaj zestaw treningowy lub najnowsze znane jako dobry zestaw produkcyjny) z bieżącym oknem. Dla cech ciągłych testy Kolmogorova-Smirnova i indeks stabilności populacji (PSI) są powszechnie używane: PSI kwalifikuje cechy na decile, liczą ile procent obecnych danych należy do każdego biletu, a następnie sumuje wyraz odchylania po biletach, tworząc jedno liczbowe miarę, która daje praktykom granicę reguł (PSI poniżej 0.1 jest zwykle uznawane za stabilne, z zakresu 0.1 do 0.25 sygnalizuje stopień przesunięcia wymagającego badania, powyżej 0.25 sygnalizuje znaczące przesunięcie). Dla cech kategoryzacyjnych test chi-kwadrat lub proste porównanie częstotliwości pełnią tę samą funkcję. Divergencja Jensen-Shannon, symetryczna i ograniczona wersja divergencji KL, jest powszechnie używana do porównywania pełnych rozkładów, w tym dla wstawień lub rozkładów ocen modelu, dokładnie dlatego, że zachowuje się dobrze (w przeciwieństwie do niewykorzystanej divergencji KL), nawet gdy dwa rozkłady mają ograniczoną ilość pokrycia.

Monitorowanie całego przepływu danych, a nie tylko wejść modelu

Dobrze zaprojektowane systemy monitorowania sprawdzają na wielu różnych poziomach, ponieważ przesunięcie może wtrącić się na dowolnym z nich i każde wymaga innego rodzaju sprawdzenia. Na poziomie oryginalnych cech monitorowanie śledzi naruszenia schematu (pole, które dawniej zawsze było wypełnione, teraz często jest puste), zakresu (cecha, która historycznie miała wartość od 0 do 100, zaczyna pokazywać wartości 10 000, co często oznacza zmianę jednostki górnej, a nie rzeczywistą zmianę w świecie), oraz metryki przesunięcia rozkładu opisane powyżej stosowane na poszczególne cechy. Na poziomie prognozy monitorowanie śledzi rozkład wyników modelu w czasie — klasyfikator, którego stopień prawdopodobieństwa przewidywania pozytywnego nagle skoczy z stabilnej 3% do 15%, bez zmiany znanych sezonowości, jest silnym i szybkim sygnałem bezetycznego, labelowego oznaczenia, że coś górstrumienne się przesunęło, nawet przed tym, jak ktoś potwierdzi czy nowe prognozy są bardziej lub mniej dokładne.

Na poziomie wyników, gdy etykiety wreszcie dotarą (a nawet opóźnione i niekompletne), monitorowanie śledzi standardowe metryki rodziny akuratności (precyzja, czułość, kalibracja) na oknie ruchome — a szczególnie, śledzi je podzielone według relevantnych segmentów zamiast tylko w agregacji, ponieważ agresywne akuratności mogą pozostawać stałe, gdy akuratność dla określonego, rosnącego podsegmentu cichym i niewidzialnym sposobem się zanosi — znanej błędnicy, że metryki ogólnego modelu wyglądają dobrze, ponieważ segment główny, który jest coraz mniej istotny, nadal osiąga dobre wyniki, maskując rzeczywistą i pogarszającą się sytuację w segmentach, które stają się większym udziałem ruchu na żywo. Dobre panely monitorujące zatem rozkłady metryk według tych samych wymiarów, o których operacyjnie dba biznes — region, segment klienta, linia produktu, typ urządzenia — zamiast zgłaszać jedno liczbę dla całej populacji, dokładnie dlatego, że ta jedna liczba jest najbardziej prawdopodobnym metryką ukrywającą problem, który naprawdę potrzebujesz złapać.

Od wykrycia do reakcji: co naprawdę się dzieje podczas pożarów przepływu danych

Wykrywanie przepływu danych jest przydatne tylko wtedy, gdy jest ono zintegrowane z odpowiednią reakcją, a ta reakcja różni się w zależności od typu i stopnia przepływu danych. Dlatego dojrzałe ustawienia MLOps unikają polityki jednolitej „ponowne trening po ostrzeżeniu”. Przepływ danych z stabilnymi relacjami podstawowymi często wymaga ponownego treningu na bardziej reprezentatywnych najnowszych danych, lub inżynierii cech, która normalizuje wejście (na przykład obliczanie cechy jako rangę procentową w oknie ruchomym zamiast wartości bezwzględnej, co może sprawić, że model jest naturalnie odporny na pewne rodzaje przesunięcia rozkładu bez potrzeby ponownego treningu). Przesunięcie koncepcyjne jest bardziej poważne, ponieważ oznacza to, że uczone relacje modelu są teraz aktywnie nieprawidłowe, a nie tylko niedokładne. Często wymaga ono natychmiastowego ograniczenia — cofnięcia się do prostszych i bardziej odpornościowych systemów opartych na zasadach, podwyższenia próby pewności by odłożyć więcej decyzji do przeglądu ludzkim, lub w poważnych przypadkach całkowitego zdejmowania modelu z obsługi — podczas gdy trening prawidłowy z nowymi etykietami jest zaplanowany, ponieważ ponowny trening na starej, ale większej danych nie naprawi relacji, która naprawdę się zmieniła.

Częścią organizacyjną, którą łatwo niedwukszać, jest to, że ostrzeżenia dotyczące przepływu danych potrzebują właściciela i podręcznika przed tym, jak zaczną być wykorzystywane, a nie po tym. Przegladarka monitoringu, dla której nikt nie jest poinformowany, jest równoznaczna z brakiem monitoringu w ogóle, a zespół, który otrzymuje ostrzeżenia dotyczące przepływu danych bez podmiotu określonego do działania na określony stopień powagi, często alergii na ostrzeżenia i ignoruje je lub nadreactuje na szum statystyczny. Praktyczna wzorcowa strategia to hierarchiczne próg (PSI o wartości 0,1 zapisuje ostrzeżenie do panelu; 0,25 poinformuje ono engineera na duty; sygnał przesunięcia koncepcyjnego wraz z mierzalną spadkami dokładności w etykietach wcześniejszych wywołuje automatyczną cofnięciem do poprzedniej wersji modelu lub zwracanie do polityki odsunięcia), zdefiniowane i przeprowadzone przed uruchomieniem modelu, a nie zaprojektowane na bieżąco pierwszy raz, gdy alert rzeczywiście się wywoła.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz MLOps Drift Monitoring Dashboard i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.