T-Digest: Oszacowanie Kwantylów w Strumieniu

Jądro idei: centroidy zamiast raw wartości

T-digest nigdy nie przechowuje indywidualnych punktów danych po ich wchłonnięciu do szkiciu; zamiast tego utrzymuje posortowaną kolekcję centroidów, gdzie każdy centroid śledzi tylko dwie liczby: średnie przypisane wartości i liczbę tych wartości. Gdy nowy punkt danych dotrze, algorytm znajdujecentroidę bliską, którą jest zezwolonego na scalenie, daje się to opisać niżej, aktualizuje średnią tego centroidu jako średnią ważoną i zwiększa jego liczbę, lub tworzy nowy centroid jednopunktowy, jeśli nie ma odpowiedniego kandydata na scalenie. Periodicznie, lub ciągle w zależności od implementacji, centroidy są ponownie kompaktowane poprzez posortowanie ich i skomplikowane z sąsiednimi, dopóki scalanie pozostawia każdy centroid w granicach swojego rozmiaru. Wynikiem jest struktura danych, której obciążenie pamięciowe zależy tylko od liczbycentroidów skonfigurowanych, zwykle w zakresie kilku setek, niezależnie od tego, czy szkic wchłonął tysiąc punktów lub trilion, ponieważ stare indywidualne wartości nigdy nie są przechowywane, tylko podsumowana centroidy przybliżające lokalizację masy rozkładu.

Funkcja skali: dlaczego ogony otrzymują większą rozdzielczość

Opracowanie kluczowe t-digesta polega na jego nieuniformnym zasadzie określającej wielkość centroma w zależności od ich położenia w ogólnym rangowanym zestawie danych. Każdy centroid ma przypisane położenie kwantylowe q, co jest przybliżoną proporcją części całkowitych danych leżących poniżej niego, a algorytmowa funkcja skali mapuje q do ograniczonej wielkości centroma, która jest mała gdy q jest blisko 0 lub 1, co oznacza ogony danych, i duża gdy q jest blisko 0.5, mediany. Popularnie używana funkcja skali opiera się na transformacji arcus sine, k(q) proporcjonalna do (2/π) razy arcsin(2q - 1), która rozciąga ogony i zacina środek, co oznacza, że równomiernie zwiększane wartości skali k wewnętrznej odpowiadają znacznie lepszej rozdzielczości kwantylowej blisko ekstremów niż w centrum. Praktycznie to oznacza, że t-digest może przydzielić setki małych centroidów do reprezentacji górnych i dolnych 1 procent danych z wysoką dokładnością, podczas gdy srednie 98 procent jest sumaryczny za pomocą znacznie mniej, większych centroidów. Ta proporcja pasuje dokładnie do tego, co większość przypadków monitorowania i analiz w świecie rzeczywistym karnie, ponieważ nikt nie zwraca uwagi na to, czy średnia opóźnienie wyniosło 40 lub 41 milisekund, ale każdy zwraca uwagę na to, czy 99.9 procent przekroczył próg SLA.

Połączenie, budowa w zestawach i parametr kompresji

T-digest ekspozycjonuje jedyną regulowaną wartość, zazwyczaj nazywaną parametrem kompresji, która kontroluje ogólny buget i stąd tradeoff między dokładnością a pamięcią. Wyższa wartość kompresji pozwala na więcej centroidów oraz lepszą rozdzielczość przy każdym kwantyle, co kosztuje dodatkową pamięć i nieco większą obciążeniem podczas połączeń, podczas gdy niższa wartość utrzymuje skizę małą, ale akceptuje mniej dokładną dokładność, szczególnie w ogonach, gdzie mniejsza liczba dozwolonych centroidów oznacza większe klastera średniego z wartości różniących się na większą skalę. W praktyce digesty są budowane stopniowo przychodzący strumienie danych, jeden punkt za razem, ale mogą być również budowane bardziej efektywnie w zestawach, sortując fragment buforowanego punktów i połączenie ich wszystkich naraz z istniejącym listą centroidów, co amortyzuje koszt utrzymania uporządkowanego porządku i tendencji do produkcji lepiej dokładnej końcowej digest niż proste wstawianie jednego za razem. Warto zauważyć szczególnie przydatną właściwość, że dwa niezależnie utworzone t-digesty, np. z dwóch różnych serwerów, każdy podsumowujący własny fragment ruchu, mogą być połączone w jeden skomponowany digest, który przybliża unieścienie obu podstawowych zestawów danych, co sprawia, że t-digest naturalnie pasuje do rozłożonej i paralelnej pipeline agregacji.

Oszacowywanie kwantylów na podstawie listy centroid

Aby odpowiedzieć na zapytanie dotyczące kwantyla, takie jak wartość odpowiadająca 95-procentile, algorytm przeszukuje posortowaną listę centroid, akumulując ich liczby aż do osiągnięcia docelowej pozycji rank, a następnie interpoluje między odpowiednimi centroidami lub wewnątrz nich, aby uzyskać płynne oszacowanie zamiast blokowego i nieciągłego. Ponieważ każdy centroid reprezentuje grupę wartości przybliżonych średnią arytmetyczną, ta interpolaacja jest koniecznie przybliżona, a błąd dla dowolnego kwantyla zależy od jakieś rzadkie są centroidy w pobliżu tego kwantyla, co powraca do przyczyny, dlaczego funkcja skali utrzymuje centroidy w ogonach detaliowanych. Istotnie, t-digest jest również odwracalny w drugą stronę, wspierając zapytania typu dystrybuanty kumulatywnej, które pytają o jaką część danych znajduje się poniżej danej wartości, używając tej samej listy centroid i symetrycznego schematu interpolacji. Oba kierunki zapytań działają w czasie proporcjonalnym do liczby centroidów, co jest podobne do mgnienia oka w porównaniu z sortowaniem pełnej zestawienia danych, co sprawia, że t-digest jest praktyczny dla interaktywnych paneli kontrolnych, które potrzebują odpowiedzi dotyczące kwantylów na żądanie z strumieni danych akumulujących się w czasie rzeczywistym.

Gdzie t-digest występuje w rzeczywistych systemach

T-digest stało się standardowym narzędziem tam, gdzie systemy potrzebują przybliżonych kwantylów nad wysokoprzepustowości danymi strumieniowymi bez kosztu przechowywania każdego obserwacji. Został wmontowany do platform monitorowania i widoczności, które wyliczają kwantyle czasów żądań pośród rozproszonych usług, do silników zapytań wielodanych i systemów analtycznych kolumnowych dla przybliżonych funkcji agregujących nad ogromnymi zbiorami danych, oraz do baz danych serii czasowych, które muszą wyliczać efektywne metryki kwantylowe. Porównując t-digest z innymi alternatywnymi skizami kwantyli strumieniowymi, takimi jak algorytm GK (Greenwald-Khanna) lub proste histogramy z ustaloną liczbą pudeł, t-digest jest popularny ze względu na regulowalność trade-off między dokładnością a pamięcią za pomocą jednego intuicyjnego parametru, jego złączenie, które sprawia, że zgrupowanie dystrybuowane jest proste, oraz skierowany w stronę dokładności dla ogonów, co naturalnie zgadza się z tym, czego operacjonaliści rzeczywiście dbają podczas obserwacji systemów produkcyjnych. Trade-off do podjęcia decyzji polega na tym, że t-digest oferuje przybliżone, a nie dokładne odpowiedzi, z błędnymi granicami, które są dowodowo małe dla ogonów, ale mogą być porównywalnie większe w pobliżu mediany, więc aplikacje wymagające dokładnych kwantyli nad małymi zbiorami danych, które pasują do pamięci, mogą nadal preferować metody oparte na sortowaniu.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz T-Digest: Streaming Quantile Estimation i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.