Protokół Gossipa: Jak Systemy Rozproszone Spreadszerzają Informacje Podobnie jak Wirusy

Mechanizm podstawowy: Pressowanie, Wyciąganie i Pressowanie-Wyciąganie Gossip

Runda gossip jest na pierwszy rzut oka prosta. Każdy węzeł utrzymuje lokalną tabelę opisującą swoje przekonania dotyczące klastra: które węzły istnieją, ich adresy, licznik serca lub numer wersji, a czasami stan aplikacji. Na ustalonej interwale czasowym węzeł wybiera małą, losową podgrupę partnerów, często tylko jednego do trzech, i zaczyna wymianę informacji. Istnieje trzy główne strategie wymiany. W pressingu gossip, inicjujący węzeł prosi o wysłanie swojego bieżącego stanu wybranym partnerom, którzy go łączą do własnych notatek. W wyciąganiu gossip, inicjujący węzeł zamiast tego pyta partnera o to, co wie i łączy odpowiedź lokalnie. W pressowanie-wyciąganie gossip, oba węzły wymieniają swoje stanowiska w obu kierunkach podczas jednej podróży, co konverguje najprędzej, ponieważ każda konwersacja rozprowadza informacje w obu kierunkach jednocześnie zamiast jednego. W większości systemów produkcyjnych, w tym Cassandra, używane są warianty pressowanie-wyciąganie, ponieważ minimalizują one liczbę rund potrzebnych do pełnej konwersacji. Losowość w wyborze partnerów jest kluczowa, a nie incydentalna. Jeśli każdy węzeł zawsze rozmawiałby z tym samym stałą sąsiednią jednostką, informacje rozprzestrzeniłyby się wolno i przewidywalnie, a pojedynczy uszkodzony łącznik mógłby podzielić klastr na grupy, które nigdy nie słyszą od siebie. Losowy wybór oznacza, że z dużą prawdopodobieństwem każdy węzeł jest dostępny przez wiele różnych ścieżek, więc uszkodzenie dowolnego łącznika lub węzła barely wolno rozprzestrzenieniu się. Każdy węzeł porównuje również numery wersji lub daty podczas wymiany, tak że gdy dwa węzły gossipują, muszą przesłać tylko różnice, a nie całą tabelę stanu, co utrzymuje koszt paskodu sieciowy każdej rundy małym, nawet przy rozszerzającym się klastrze.

Rozszerzona eksponencjalnie: Dlaczego małopowtarzalne zbieżności jest ważne

Dlatego protokoły gossipa skali się tak dobrze, tą samą matematyką, która sprawia, że epidemie i viralne legendy rozprzestrzeniły się szybko: eksponencjalnym wzrostem. Supozujmy, że jeden węzeł dowiedział się nowego faktu, takiego jak fałszowanie innego węzła. W pierwszym turze powiadomi on jednego losowego współwątpiwcę, więc dwie osoby otrzymują informację. W drugiej turze oba te wężeły każdy skontaktuje się z nowym losowym współwątpiwcem, więc do czterech może dosięgnąć do czterech węzłów. W trzeciej turze do osiemnastu, i tak dalej, podwoiwszy liczbę wiedzących w każdej turze. To oznacza, że liczba wiedzących węzłów rośnie jako dwie do potęgi liczby tur, więc liczba tur potrzebna do powiadomienia wszystkich n węzłów w klastrze jest proporcjonalna do logarytmu n. Podwojenie rozmiaru klastra z dziesięciotysięcznych do dwudziestotysięcznych dodaje tylko jedno dodatkowe tura do pełnej zbieżności, a nie dwa razy więcej czasu. To malopowtarzalne skalowanie jest właściwością, która sprawia, że gossipa są atrakcyjne dla bardzo dużych klastrów, w których centralizowany nadawca musiałby otworzyć połączenie bezpośrednie z każdym z węzłów, zużywając przepustowość i rozszerzając koszty koordynacji, które rosną liniowo z rozmiarem klastra. Z gossipa obciążenie pracy każdego węzła w każdej turze pozostaje stałe i małe, niezależnie od liczby całkowitej węzłów w klastrze, ponieważ contactuje się tylko ze starymi losowymi współwątpiwcami zamiast wszystkich. W rzeczywistych implementacjach regulują wyrostek, czyli liczbę współwątpiwców kontaktowanych na turę, i interwał tur, aby równomiernie rozdzielić prędkość konvergencji przeciwko przepustowości sieci.Większy wyrostek szybciej rozesłaje informacje, ale zwiększa tło przepustowości, podczas gdy mniejszy wyrostek jest tańszy, ale zajmuje więcej czasu na dosięgnięcie wszystkich, więc operacjonerzy wybierają wartości odpowiednie do rozmiaru swojego klastra i tolerancji w stosunku do stalności.

Dzielenie się informacjami o członkostwie i wykrywaniu awarii

Jedną z najpopularniejszych zastosowań gospiingu jest utrzymanie świadomego pozycjonowania każdego węzła co do innych członków klastra oraz ich stanu aktywności, problem znany jako zarządzanie członkostwem. Tabele lokalne każdego węzła zawierają licznik serca dla każdego znanego mu węzła. Gdy węzeł gospiinguje, udziela informacji o najwyższym wartości licznika serca, którą widział dla każdego węzła. Jeśli licznik serca węzła A dla węzła C po kilku rundach nie urosnie i przekroczy próg zastanawiający, inne węzły zaczynają podejrzewać, że węzeł C awariował, nawet jeśli nigdy nie było bezpośredniego sprawdzania jego stanu przez centralną usługę. Systemy takie jak Consul i Cassandra wykorzystują uproszczenia tego podejścia, np. rodzinę protokołów SWIM lub detektor Phi Akkumulacyjny awarii, które przypisują ciągły wynik podejrzeniowy na podstawie czasu, który minął od ostatniego widoku licznika serca, zamiast binarnego stanu awarii lub aktywności, co zmniejsza fałszywe pozytywy powodowane przez tymczasowe opóźnienia w sieci. Ponieważ podejrzenia rozwijają się poprzez gospiing tak samo jak informacje o członkostwie, całe klastrze osiągają zgodne widoki na temat statusu aktywności i awarii w małym zakresie rund. Bez potrzeby żadnego węzła do kontaktowania się z każdym innym węzłem osobno. Gdy nowy węzeł dołącza do klastra, typowo kontaktuje się z jednym lub kilkoma węzłami seminowymi, aby zainicjować proces, uczy się bieżącej tablicy członkostwa i staje się samodzielnym gospiingiem, roznosząc informacje o swoim dołączeniu poprzez taki sam eksponencjalny proces. Ten de-centralizowany podkład pozwala na utrzymanie dokładności i aktualności członkostwa klastra nawet w momencie dodawania, usuwania lub awarii węzłów, bez potrzeby koordynatora do utrzymywania listy głównych.

Anti-entropia: Reconciliacja różnic między replikami

Protokoły gosipowe wykonują również drugą, pokrewną funkcję nazywaną anti-entropią, która polega na wykrywaniu i naprawianiu różnic między replikami przechowującymi taki sam zestaw danych. W bazach danych z replikacją, takich jak Cassandra i DynamoDB, wielu węzłów przechowuje kopie tych samych wierszy lub par klucz-wartość, aby system nadal działał nawet jeśli niektóre repliki są chwilowo niewidoczne. W czasie trwania, repliky mogą się odłączyć ze względu na podział sieci, utraconych zapisów czy węzłów, które były chwilowo niedostępne. Jeśli nie zostanie to zarządzane, ta odległość powoduje, że stare lub brakujące dane pozostają w systemie przez długą czas. Anti-entropia gosip regularnie porównuje stan przechowywany przez dwie repliki i naprawia różnice między nimi, zwracając repliky do zgody bez potrzeby centralnej usługi harmonizacji. Popularny i efektywny sposób na porównanie tych stanów to drzewo Merkle, struktura hierarchiczna hash-ów, gdzie każdy liściowy hash podsumowuje mały zakres danych a każdy rodzic hash podsumowuje swoje dzieci. Dwa węzły mogą najpierw porównać korzenie swoich drzew Merkle; jeśli korzenia są takie same, repliki są już identyczne i nie jest potrzebna transmisja żadnych danych. Jeśli korzenia się różnią, węzły rekurencyjnie porównują hashy dzieci do ograniczenia dokładnego małego zakresu danych, który faktycznie różni się, a tylko ten mały zakres musi być przesłany i naprawiony. To pozwala na skalowanie anti-entropii do ogromnych zbiorów danych, ponieważ dwie repliki przechowujące biliony rekordów często mogą potwierdzić, że są zgodne, lub wyznaczyć mały fragment, gdzie się różnią, przesłując tylko kilka wartości hashowych zamiast skanowania i przesyłania całego zbioru danych.

Tolerancja błędu, skalowalność i trudny wybór między zgodnością ostateczną

Protokoły gossingu są cenione w systemach rozproszonych właśnie dlatego, że nie mają punktu fałszywego pozytywu. Centralizowany nadawca jest brzegiem i zagrożeniem: jeśli zatrzyma się, wszystkie zależne węzły są odcięte od aktualizacji zarazem, a ich połączenia sieciowe oraz przetwarzanie muszą skalować liniowo z liczbą węzłów, które obsługują. Gossip ma żadnego słabości. Ponieważ każdy węzeł może gossingować z każdym innym, strata pojedynczych węzłów, nawet znaczącej części klastra, nadal pozostawia wystarczające ścieżki do rozprzestrzeniania się informacji przez pozostające węzły. Protokół degraduje się grzecznie zamiast całkowicie zakończyć działanie, a ta odporność, połączona z ciągłym obciążeniem na poziomie węzła omówionym wcześniej, jest powodem dla którego gossip skali się komfortowo do klastrów tysięcy maszyn, gdzie centralna koordynacja staćby się niewygodna. Ta odporność ma jednak rzeczywisty koszt, znany jako zgodność ostateczna. Ponieważ informacje dotarują do każdego węzła po kilku rundach gossingu, proporcjonalnych do logarytmu rozmiaru klastra, zawsze istnieje krótki okres po aktualizacji, podczas którego różne węzły są niezgodne co do bieżącego stanu. Węzeł, który niedawno dołączył, lub klient, który przypadkowo zapyta o węzeł, który jeszcze nie słyszał najnowszego gossingu, może zobaczyć dane nieco przestarzałe przez ułamki sekundy do kilku sekund, w zależności od wybranego interwału rundy i rozszerzenia. Systemy wymagające, aby każda czytna reprezentowała najnowszą pisanie bezwzględnie, nazywane zgodnością ostateczną, ogólnie nie mogą polegać tylko na gossingu na ten garant. W praktyce inżynierowie świadomie akceptują tę małą, ograniczoną przestarzałość, ponieważ alternatywa, centralny nadawca zgodności ostatecznej, byliby musieli opuścić odporność błędu i skalowalność poziomą, które sprawiły, że gossing był wartościowy do wyboru dla członkostwa w klastrze, detekcji awarii oraz naprawy antyentropii na początku.

Często zadawane pytania