Linia danych i zarządzanie nią: śledzenie liczby na panelu z powrotem do źródła

Linia danych istnieje, aby odpowiedzieć na pytanie

Przedsiębiorca patrzy na panel zysków i pyta, dlaczego liczba dla bieżącego kwartalu wygląda 8% wyższa niż własne zgody finansowej komandy. Do dobrze odpowiedzi na to pytanie wymaga zdolności śledzenia liczby z powrotem poprzez każdą transformację, która ją wygenerowała: które tabeli źródłowe dostarczyły dane, jakie połączenia i filtry oraz agregacje zostały zastosowane na każdym etapie, który konkretny przepływ danych wygenerował wersję obecnie wyświetlaną, a kiedy w tej linii pojawiła się różnica między liczbami finansowymi. Linia danych to dyscyplina i narzędzia do odpowiedzi na dokładnie to pytanie — zapisywania pełnego grafu zależności od momentu przyjęcia danych źródłowych przez każdą intermedialną transformację do każdego konsumenta dolistniego, tak aby dowolna liczba w systemie mogła być śledzona zarówno z powrotem do jej pochodzenia, jak i do wszystkiego, co na niej zależy.

Bez linii danych, takie debugowanie stopniowo staje się ekscytacją archeologiczną: ktoś musi ręcznie przeanalizować skrypty SQL, modele dbt, zadania Spark oraz definicje paneli, przekreślając nazwy tabel i licząc na to, że osoba, która napisała przepływ danych trzy lata temu, zostawiła komentarze wyjaśniające niezwykłe warunki połączeń. W każdej organizacji powyżej pewnej wielkości, z dziesiątkami lub setkami przepływów danych dostarczających do wspólnego magazynu danych, ta ręczna metoda prostej nie skali, a koszt jest widoczny w formie sesji debugowania trwających dniami zamiast minut oraz jako bardziej ogólne problem organizacyjny: analiści i przedsiębiorcy, którzy zostali zranieni przez niewyjaśnioną różnicę jednorazowo, zaczynają nieufnie traktować liczby w ogóle, co jest znacznie trudniejszym problemem do rozwiązania niż pierwotny błąd, ponieważ odzyskanie ufności w platformie danych po utracie tej ufności potrwa znacznie dłużej niż incydent, który ją zniszczył.

Linia danych na poziomie tabeli versus na poziomie kolumny

Oprawcze linii danych działają na dwóch odmiennych poziomach precyzji, a różnica ma ogromne znaczenie dla tego, jak przydatna jest w rzeczywistości wygenerowana mapa. Linia danych na poziomie tabeli zapisuje, że tabela B została stworzona na podstawie tabeli A, co zwykle wynika z analizy SQL lub definicji zadań, które materializują każdą tabelę i ekstrakcji tabel źródłowych, z których czyta każda zapytanie. Jest to znacznie łatwiejsze w budowaniu (większość współczesnych katalizatorów danych, takich jak DataHub, Amundsen lub OpenLineage mogą ekstrahować to automatycznie przez analizę dzienników zapytań SQL lub metadanych orkestracji), a odpowiada dobrze na zagubione pytania:

%20co%20zawiera%20tabeli%20revenue_summary

%20lub%20jaki%20będzie%20problem%20jeśli%20odpadnę%20ta%20tabela%20staging.

Samodzielne zapisywanie w porównaniu do ręcznej dokumentacji

Systemy linii danych przechwytują swoje informacje jednym z dwóch sposobów, a różnica w wiarygodności między nimi stanowi najważniejszy czynnik wpływający na to, czy system pozostanie wiarygodny w ciągu czasu. Ręczna dokumentacja linii danych — strona wiki lub arkusz kalkulacyjny, gdzie inżynierowie zapisują, co dostarcza dane do czego — ulega degradacji, gdy podstawowe pipeline są zmienione i nikt nie pamięta (lub nie chce) aktualizować dokumentacji. To się powtarza tak często, że w większości organizacji ręcznie utrzymywana dokumentacja linii danych jest wiarygodna tylko przez miesiące od momentu jej przygotowania, co przeciwdziała całkowitej wiedzy o tym, czym jest ta dokumentacja.

Samodzielne zapisywanie linii danych zamiast tego wylicza graf zależności bezpośrednio z systemów, które rzeczywistnie uruchamiają pipeline: analizując dzienniki zapytań SQL z magazynu danych, łącząc się z narzędziami orkestracji, takimi jak Airflow lub dbt, aby zapisywać zależności zadań podczas wykonywania pipeline, i używając standardowych protokołów otwartych, takich jak OpenLineage, do emisji zdarzeń linii danych bezpośrednio z silników obliczeniowych (Spark, Flink, dbt) podczas uruchamiania zadań, co sprawia, że graf linii danych jest wynikiem produkcji, a nie osobno utrzymywanej artefaktu, który może się odchylić. Ten samodzielny podejście jest bardziej wiarygodne, ponieważ nie może stać się zastarzałe w taki sposób jak ręczna dokumentacja — jeśli pipeline zostanie zmienione, kolejne uruchomienie automatycznie emisjonuje zaktualizowane linie danych. Choć nadal wymaga rzeczywistego inwestowania w inżynierię do instrumentacji każdego etapu heterogenicznego pipeline (skrypt Python wykonujący ad hoc transformację poza standardowym ramkowaniem orkestracji jest niewidoczny dla samodzielnych zapisów linii danych, chyba że ktoś świadomie go instrumentuje), to dlatego większość dużych organizacji prowadzi mieszankę: silne automatyczne pokrycie dla transformacji w magazynie danych (SQL, dbt) oraz mniejszą ilość ręcznie dokumentowanych przypadków brzegowych dla legacy lub niestandardowych pipeline, które ulegają poza standardowe narzędzia.

Dlaczego regulatorzy i auditorzy dbają o linię danych

Poza debugowaniem wewnętrznym, linię danych stało się konkretnym wymaganie nazwanym w wielu kluczowych ramkach regulatorskich. Dlatego „wyprodukowaliśmy to liczbę” nie jest wystarczającą odpowiedzią dla regulatora; „możemy udowodnić, jak ta liczba została wyprodukowana, z której źródła i że proces ten jest powtarzalny i prawidłowo zatwierdzony” to, co wymaga zgodność. Kluczowe wskazania BCBS 239 Komitetu Baselowego, które stosują się do banków systemicznie ważnych, wytyczne dotyczące agregacji danych ryzyka, wymagają instytucji, aby były w stanie śledzić liczby ryzyka z powrotem do źródłowych danych i pokazać dokładność procesu agregacji. Ta wymaga jest funkcjonalnie niemożliwa do spełnienia bez autentycznej, audytowalnej linię danych, a nie pamięci instytucji. Prawo do usunięcia w GDPR tworzy pokrewny, ale odmienny wymóg liniowy: gdy osoba danych prosi o usunięcie, organizacja musi znać każdą tabelę dolną, cechę modelu i zestaw danych pochodnych, które zawierały ich dane osobowe, a nie tylko oryginalny rekord, który jest dokładnie zapytaniem liniowym w przyszłość (od ścieżki źródłowej do wszystkiego dolnego, co na nią zależy) zamiast zapytania liniowego w przeszłość używanego do debugowania liczby na panelu.

Dwójnostronna kierownictwo jest warto być jasnym, ponieważ te dwa przypadki użycia rzeczywiście potrzebują prawdziwych przebiegów grafu: debugowanie i analiza przyczynowej są zapytaniem w przeszłość (dane wyjściowe, co je napędzało), podczas gdy obowiązki zgodności jak usunięcie GDPR, a także analiza wpływu przed zmianą schematu („jeśli spadnę to kolumnę, co się zepsuje dolne”) są zapytaniem w przyszłość (dane źródłowe, co na nich zależy). System liniowy, który obsługuje tylko jedno kierunek dobrze, rozwiązuje tylko połowę problemu, dlatego zaawansowane narzędzia liniowe są zbudowane na prawdziwym dwukierunkowym grafie zależności, a nie na jednokierunkowej ścieżce dokumentacji, i dlatego linię danych przeniosła się od przyjemności technicznej do kluczowego elementu infrastruktury regulacyjnej i zarządzania w intensywnych, regulowanych branżach.

Często zadawane pytania