Weryfikacja danych w pipelini ETL: Czapanie złych danych przed tym, jak dotrą do modelu

Dlaczego modele nie wykazują się jasno na złych danych, ale mniej więcej przetrwają

Model uczony na czystych, podzielonych danych nie zwraca uwagi, gdy jest później podany do niego czytanie sensora fizycznie niemożliwe, duplikat wiersza liczący się dwukrotnie lub brak wartości, który jest milcześnie interpretowany jako zero — prosi o przewidywanie, które będzie źle i w sposób łatwy do zignorowania, aż spowoduje problemy dalej. To jest powód, dla którego walidacja danych, wykonana przed dotarciem danych do uczenia modelu lub wnioskowania, stanowi oddzielną dyscyplinę od oceny modelu: ocena modelu sprawdza, czy model jest dobry w swojej pracy, podczas gdy walidacja danych sprawdza, czy model nawet otrzymuje wejścia, dla których został zaprojektowany.

Brakujące wartości, duplikaty i nieprawdopodobne odczyty

Dane rzeczywiste, zwłaszcza z czujników i logów, są w sposób powtarzalny niewyrafinowane od kilku aspektów. Braki wartości wymagają świadomego podejścia, a nie domyślnej strategii — wypełnianie średnimi lub mediami kolumny jest stosowne dla wartości fluctuujących wokół ustalonego punktu referencyjnego, przesunięcie (trwałe przenoszenie ostatniej znanej wartości) pasuje do sygnałów wolno zmieniających się, takich jak temperatura, a usunięcie wierszy całkowicie jest stosowne, gdy pole jest kluczowe i nie można go logistycznie uzupełnić. Duplikaty, często powstające z powtarzanych wywołań API lub nadmiarowych poleceniami pobierania danych, muszą mieć jasne definicje tego, co sprawia, że dwie linie są „takie same” — zwykle to kombinacja identyfikatora enti i daty — zanim można je w sposób wiarygodny wykryć i usunąć, zachowując tylko najnowsze kopię.

Odczyty fizycznie niemożliwe stanowią oddzielną kategorię wartość sprawdzoną jasno, oddzielną od detekcji niezwykle wybranych statystycznie: odczyt temperatury poniżej zera absolutnego dla typu czujnika, ujemne napięcia, gdzie tylko wartości dodatnie mają fizyczną znaczenie, lub trwałość dłuższa niż okres czasowy pokrywający dane. To nie są przypadki graniczne wymagające decyzji — to ścisłe ograniczenia prawdziwościowe, które powinny być stosowane bezpośrednio, np. filtracja wierszy poza znanej przedziałem fizycznie prawdopodobnej dla danego pola przed zastosowaniem detekcji niezwykle wybranych statystycznie do pozostałych danych.

Filtracja wyodrębniająca się na podstawie zasięgu międzykwartilego jako pierwsza próba filtra

Poza trudnymi fizycznymi sprawdzeniami, proste statystyczne podejście do oznaczania niezwykle ekstremalnych, ale niekoniecznie niemożliwych wartości to zasada zasięgu międzykwartylnego (IQR): obliczenie 25-go percentyla (Q1) i 75-go percentyla (Q3) dla kolumny, przyjmowanie ich różnicy jako zasięg międzykwartylny, a następnie traktowanie dowolnej wartości jako wyjatkową, jeśli jest o 1,5 razy większa niż zasięg międzykwartylny poniżej Q1 lub powyżej Q3. Jest to lighweight sprawdzenie niezależne od rozkładu — nie zakłada ono, że dane mają jakikolwiek konkretny kształt — i jest często stosowane jako wcześniejsza próba filtra przed tym, jak dane dotarą do bardziej zaawansowanych modeli wykrywania anomalii, złapując duże problemy z jakością danych (błąd w punkcie dziesiętnym, niezgodność jednostek) zamiast mniej widocznych anomaliach zachowania, które są przeznaczone do znalezienia specjalistycznymi modelami wykrywania anomalii.

Warto być jasnym, że wartość oznaczona metodą IQR nie jest automatycznie błędnym danym — może być prawdziwym, poprawnie zapisanym zdarzeniem ekstremalnym — dlatego filtrowanie na podstawie IQR w kontekście czyszczenia danych jest zwykle stosowane ostrożnie, lub oznaczone wiersze są oddzielone do sprawdzenia zamiast usunięte bezpośrednio, zwłaszcza gdy ekstremalne wartości mogą być dokładnie tymi anomaliami, które model dolatyjący ma na celu wykrycie.

Automatyzacja weryfikacji z wyraźnymi oczekiwaniami

Przeglądanie ręcznie jakości danych nie skali się, gdy pipeline działa regularnie na ciągle przychodzących danych. Skalującym się wzorcem jest kodowanie reguł jakości danych jako wyraźne, automatycznie sprawdzane oczekiwania — takie jak próg liczebności null dla każdego kolumny, dopuszczalny zakres numeryczny, a także ograniczenie unikalności na kluczowym polu. Te reguły działają automatycznie przy każdym uruchomieniu pipeline, zatrzymując go (lub co najmniej alertując człowieka) w momencie naruszenia reguły, zamiast cichym przeprowadzaniem złych danych dalej. Narzędzia zaprojektowane do tego celu, takie jak Great Expectations, formalizują ten wzorzec, pozwalając zespołowi określić zestaw oczekiwań tylko raz i uzyskać automatyczny raport jakości danych na każdym uruchomieniu, z jasnym rejestratem tego, co przeszło, co nieprzezroczyło się, a kiedy rozpoczęły się błędy.

Wartość tego podejścia polega mniej na złapaniu jakiegoś pojedynczego dramatycznego błędu, a więcej na złapaniu wolnych, łatwych do przegapienia: czujnika, który zaczyna cichym głosem raportować stałe wartości, ponieważ zepsuł się, zmiany schematu wstępnego, które dodają nowe kolumny lub modyfikują starych, stopniowego wzrostu proporcji null bez kiedykolwiek przekroczenia wyraźnego prógu w jakimś pojedynczym dniu. Logowanie podsumowujących statystyk po każdej fazie pipeline — liczba wierszy, liczebność null, minimalne i maksymalne wartości — konwertuje ten rodzaj stopniowego przemianowania na coś, co wyraźnie widać na liniach trendu.

Batch vs streaming: wybieranie częstotliwości walidacji i załadowywania

Pipeliny ETL działają w jednym z dwóch szerokich trybów, a wybór wpływa na sposób wstawiania walidacji. Tryb batchowy zbiera dane przez określony okres — najczęściej raz dziennie — i przetwarza je razem; jest dobrze przygotowany do historycznych danych używanych do treningu modeli, gdzie opóźnienie o godziny nie ma znaczenia dla poprawności, a konstrukcja, monitorowanie i ponowne uruchamianie są proste w porównaniu z systemem streaming. Tryb streamingowy, korzystający z narzędzi takich jak Kafka podporządkowanej maszynie przetwarzania strumieniowego, jak np. Spark Streaming, procesuje dane kontynuacyjnie, gdy do nich dochodzą, co jest konieczne dla przypadków użycia monitorowania i ostrzegawczego w czasie rzeczywistym — wykrywanie awarii sprzętu w sekundach zamiast odkryć ją podczas kolejnej rundy batchowej — na koszt znaczącego wzrostu skomplikowania operacyjnego. Logika walidacji sama w sobie nie różni się fundamentalnie między tymi dwoma trybami — takie same sprawdzanie pustych wartości, zakresów i powtarzających się danych stosuje się do obu — ale konsekwencja błędu walidacji: pipelina batchowej może racjonalnie zatrzymać proces i czekać na osobę, która zainwestuje w badanie błędu walidacji przed tym, jak dane z danego dnia dotrą do modelu, ponieważ nastepny batch jest o godziny oddalony, podczas gdy pipelina streamingowej walidującej każde rekord lub mikrobatch przybywający zwykle potrzebuje automatycznego odrobinę — przekierowywanie nieudanych rekordów do osobnego miejsca przechowywania dla późniejszego przeglądu zamiast blokowania całego strumienia na żywo — ponieważ zatrzymywanie strumienia w czasie rzeczywistym oczekując na interwencję ludzkiego jest przeciwne celowi przetwarzania go w czasie rzeczywistym od początku.

Często zadawane pytania