Zbudowanie Podstawy Danych dla Uczenia Maszynowego: Framework Indeksu jakości danych

Dlaczego "nie mamy danych" prawie nigdy nie jest prawdą

Około 80% wysiłku w typowym projekcie uczenia maszynowego poświęca się zbieraniu, czyszczeniu i przygotowywaniu danych; tylko około 20% na budowę i dostosowywanie modeli. Zajrzane algorytmu sztucznego treningu na słabo przygotowanych danych zawsze przegrywa z prostym algorytmem sztucznego intelektu treningu na czystych, odpowiednich danych — dlatego podstawa danych, a nie technika modelowania, jest zwykle kluczowym czynnikiem w sukcesie projektu ML.

Organizacje, które są przekonane, że "nie mają danych", prawie zawsze to mają — tylko są rozłożone po systemach CRM, systemach księgowych, arkuszach kalkulacyjnych na osobistych komputerach, narzędziach analiz webowych, platformach poczt e-mail, logach serwerów i nawet papierowych archiwach, które można przekształcić w cyfrowe z użyciem OCR. Pierwszym praktycznym krokiem jest inventarzowanie danych: tabela zawierająca każdy źródło, co ono zawiera, gdzie znajduje się, jego przybliżoną wielkość, ocenę jakości i dostępność. Większość zespołów zaskakuje się tym, ile materiału odkrywa ten proces po tym, jak silosy kafelkowe działów są mapowane w jednym miejscu.

Pięć kryteriów oceny jakości danych

Jakość danych gotowych do uczenia maszynowego może być oceniana wzdłuż pięciu niezależnych wymiarów, każdy z których prowadzi do niepowodzenia projektu w inny sposób.

Wolumin — ilość dostępnych danych w stosunku do tego, co wymaga technika. Model klasyfikacji lub regresji tabularnej zwykle potrzebuje od tysiąca do kilkuset tysięcy wierszy w zależności od liczby cech; detekcja wykrywa anomalie wymaga setki tysięcy przykładów normowych, aby zdefiniować, co oznacza „normę”; systemy poleceń potrzebują co najmniej setki tysięcy interakcji, ponieważ macierz użytkownik-oznaczona jest naturalnie rzadska. Gdy wolumin jest niedostateczny, standardowym rozwiązaniem są transfer uczenia, uzupełnianie danych, generowanie sztucznych danych lub używanie modelu mniej zależnego od ilości danych.

Jakość — obecność brakujących wartości, powtarzających się rekordów, niezgodnej formatowania (taka sama miasto zapisane czterema różnymi sposobami), wyjatków spowodowanych błędom wprowadzania danych, błędnych typów danych, nieprawidłowych wartości, starych rekordów, nierównomiernej rozdzielczości klas, przekroczenia granic danych i bias w próbkowaniu. Każdy z tych problemów spowalnia wydajność modelu w inny sposób, a większość operacyjnych danych rawi wiele z nich jednocześnie.

Zależność — czy dostępne pola rzeczywiście odpowiadają na pytanie, które zostawiono. Model churnu stworzony tylko na podstawie danych demograficznych (wiek, lokalizacja) bez sygnałów zachowania (recency, frequency, engagement, zgłoszenia wsparcia) zwykle wykazuje niemal tyle samo wyników jak losowe przewidywanie, ponieważ cechy rzeczywiście predykcji churnu nigdy nie były zbierane.

Dostępność — czy dane mogą być pobrać w momencie potrzeby. Maksymalna dostępność przez API jest złotą regułą; regularne eksporty są dozwolone; manualne wydobywanie wymagające zgłoszenia IT wprowadza opóźnienia, które sprawiają, że automatyzacja nie jest realistyczna; dane technicznie dostępne, ale prawowo lub praktycznie niewspółmierne są faktycznie niemożliwe do użycia.

świeżość — jak szybko dane stają się stare w stosunku do tego, jak szybko zmieniają się podstawowe zachowania. Model fraudek potrzebuje danych w czasie rzeczywistym; prognoza zasobów może tolerować opóźnienie o dzień; model oceny kredytowej często działa na podstawie danych odnowianych co miesiąc, ponieważ sytuacja finansowa zmienia się mniej szybko. Użyteczne diagnostyka to test starych danych: trenuj na danych sześciu miesięcy starzejszych, oceniaj na aktualnych danych i jeśli dokładność spadnie o ponad około 10%, sygnał podstawowy zmienia się szybciej niż cykl odnowiania może śledzić.

Konwersja jakości danych na pojedynczą liczbę: Indeks Jakości Danych (IJD)

Indeks Jakości Danych (IJD) średnie z pięciu wyników komponentowych — kompletności, dokładności, zgodności, aktualności i ważności, wyrażonych w procentach — do jednego parametru monitorującego. Przykładowa obliczona wartość: kompletność 85% (15% rekordów zawiera brakujące wartości), dokładność 90% (10% zawiera błędy wykryte poprzez próbkowanie ręczne), zgodność 70% (wiele duplikatów i niezgodnych formatów), aktualność 95% (dane odświeżane codziennie), ważność 80% (20% nie przekazują się testom zasad biznesowych). Średnio IJD = (85+90+70+95+80)/5 = 84%.

Jako przybliżone wskazówka interpretacji: 90–100% oznacza doskonałość i gotowość do pracy z ML ze minimalnym dalszym czyszczeniem; 70–89% jest akceptowalne, ale wymaga dedykowanego procesu czyszczenia; 50–69% to słabe wyniki wymagające znacznego naprawienia przed rozpoczęciem modelowania; poniżej 50% oznacza, że potrzebne jest naprawienie podstawowych procesów zbierania danych, ponieważ żaden dalszy czyszczenie nie zastąpi uszkodzonego przepływu danych.

Siedem strategii zebranej danych, które jeszcze nie istnieją w użytkowej formie

Gdzie potrzebne są naprawdę nowe dane do zebrania, siedem podejść pokrywa większość sytuacji. Integracja istniejących systemów za pomocą łączników (otwartych narzędzi z setkami wbudowanych łączników lub zarządzonych usług ETL) przyciąga dane automatycznie z CRM, platformy analitycznej lub systemu e-commerce do centralnego magazynu. Zapis wydarzeń dodaje strukturalne śledzenie dla działań użytkownika, wydarzeń systemowych i kontekstu w chwili ich wystąpienia, a nie po fakcie rekonstrukcji tych danych. Ankiety i opinie (NPS, CSAT, oceny gwiazdowe) tworzą jasne etapy prawdy, które są trudne do wywnioskowania z jedynego zachowania. Skraping stron internetowych wspiera badania konkurencyjnych cen i badań rynkowych, subiektywne pod warunkiem ograniczeń warunków korzystania i prywatności. Rynki danych pozwalają zespołowi kupić już gotowy zestaw danych zamiast zbierać je od zera, co jest przydatne do wypełnienia braków, takich jak ceny rynkowe historyczne. Generowanie sztucznych danych — na podstawie reguł, statystycznych lub modelowych — pomaga, gdy rzeczywiste przykładów jest mało, zwłaszcza dla testowania, ochrony prywatności lub balansowania klasy mniejszej. Zmieszanie etykiet zasobów nieetykietowanych obrazów lub tekstu do treningu poprzez rozproszone notowanie ludzkim sposobem, zazwyczaj z każdym elementem sprawdzanym przez trzy do pięciu notariuszy i reconciliacją w stosunku do małej „złotej grupy” znanych prawidłowych odpowiedzi, aby złapać niskokwalifikowanych notariuszy.

Sześciostepowy proces czyszczenia danych

Pozbierane dane netto poddajemy zgodnej sekwencji czyszczenia, która przekształca je w coś, co model może naukowo wykorzystywać. Zaczynamy od analizy eksploracyjnej — statystyk sumarycznych, liczebności brakujących wartości, liczebności duplikatów, histogramów rozkładu i macierzy korelacji — aby zrozumieć, co właściwie znajduje się w zestawie danych przed wprowadzeniem jakichkolwiek zmian. Następnie zajmujemy się brakującymi wartościami, wybierając między usunięciem (przydatne, gdy brakuje ich mniej niż 5% rekordów i braki wydają się losowe), wypełnieniem (średnia lub mediana dla liczb, tryb dla kategorii, lub imputer predykcyjny takie jak k-najbliższych sąsiadów dla większej struktury), zdefiniowaniem braku wartości jako osobnej cechy (użyteczne, gdy sam fakt braku wartości jest przewidywany — na przykład klienti, którzy nigdy nie ukończyli swojego profilu, proporcjonalnie odchodzią) lub tworzeniem wyraźnej kategorii „niewiadomego” dla cech kategorycznych. Usuwamy duplikaty, w tym bliskie duplikaty zdetekowane za pomocą paszwalnego dopasowania napisów, np. niezgodne formatowanie nazw firm. Zidentyfikujemy i rozwiążemy wykryte odstępu używając metody zakresu kwartylowego lub próby z-score, a następnie na podstawie przypadku do przypadku decydujemy, czy usunąć, ograniczyć, przekształcić lub zachować każdy z nich. Standardyzujemy formaty — daty w jednym formacie parseowalnym, tekst zmniejszony i skrócony, łańcuchy monetowe konwertowane na typ numeryczny, a znane sinonimy (różne spellerowania tej samej miejscowości) mapowane do jednego standardowego wartości. W końcu walidujemy wobec wyraźnych zasad biznesowych — rozsądne zakresy wieku, dodatnie ceny, poprawne formaty adresów e-mail — a następnie usuwamy lub oznaczamy rekordy, które nie spełniają tych warunków.

Architektura hierarchiczna magazynu danych i lista sprawdzania zgodności

Praktyczne architektury danych ML mają trzy warstwy. Bazy operacyjne (systemy transakcyjne, takie jak bazy relacyjne lub dokumentowe) obsługują czytanie i pisanie w czasie rzeczywistym, ale są zbyt wolne do analizy skalarnych. Magazyn danych przechowuje strukturalne, historyczne, nieznormalizowane dane optymalizowane do zapytań analtycznych i inżynierii cech. Jezioro danych przechowuje niewykorzystane, niestrukturyzowane materiały — logi, obrazy, JSON — w sposób ekonomiczny i elastyczny, z kosztem potrzeby dalszej przetwarzania przed użyciem. Typowe przepływy danych są od strony źródłowych systemów poprzez pipeline ETL/ELT do jeziora i magazynu danych, a następnie do sklepu cech, który centralizuje wersjonowane, powtarzalne cechy przed ich dotarciem do treningu i wnioskowania modeli.

Zakwaterowanie danych musi być zaplanowane od początku, a nie dodawane jako pozwrotna montaż. Praktyczne kroki w tym zakresie obejmują haszowanie identyfikatorów, takich jak adresy e-mail, do anonymalizacji nieodwracalnej, używanie odwracalnej szyfrowania (z kluczem przechowywanym oddzielnie) do pseudonimizacji, gdzie reidentyfikacja jest czasami uzasadniona, generowanie prawdopodobnych danych fałszywych dla środowisk nieprodukcji/testowania, aby niezwolnione rekordy klientów nie opuszczały środowiska produkcji, stosowanie kontroli dostępu opartej na roli z notowaniem audytu, oraz ustawienie polityki przechowywania danych, która usuwa rekordy automatycznie po tym, jak przestaną być potrzebne. W systemach podobnych do GDPR to oznacza również zdolność do wyjaśnienia decyzji automatycznych, zaszanowanie żądań dotyczącego przenoszenia danych i włączenie rozważań dotyczących prywatności w architekturze od pierwszego dnia, a nie dodawanie ich po tym, jak nadzorca poprosi.

Często zadawane pytania