Rendezvous Hashing: Najwyższa Waga Losowa

Jak działa mechanizm oceny

Rendezvous Hashing przypisuje klucz węźle używając funkcji oceny dla pary zamiast wspólnej struktury geometrycznej. Dla klucza k i kandydatów węzłów n, algorytm oblicza wagę stosując funkcję haszująca do kombinacji klucza i identyfikatora węzła, zapisanej konceptualnie jako waga równa haszowi klucza połączonego z identyfikatorem węzła. Każdy węzeł w bieżącej grupie członkowskiej oblicza swoją wagę dla tego samego klucza, a węzeł produkujący najbardziej strictoniagłą wagę jest oznaczony jako właściciel tego klucza. Ponieważ funkcja haszująca jest deterministyczna, dowolny klient przechowujący bieżącą listę węzłów zawsze oblicza dokładnie tą samą zwycięzcę dla danego klucza, bez potrzeby sprawdzania tabeli wykazowej, koordynatora lub wspólnej pętli. To jest to, co sprawia, że schemat jest naturalnie bezstanowy: jedynym wymaganiem współdzielonego znania jest członkostwo, a przypisanie samego wyrasta bezpośrednio z arytmetyki. Jakość funkcji haszującej ma nieocenioną wagę tutaj, ponieważ wagi muszą zachowywać się jak niezależne zmienne losowe jednorodne zarówno dla kluczy, jak i węzłów, aby schemat mógł rozdzielić obciążenie równomiernie. W praktyce implementacje używają szybkich, dobrze rozmieszczonej funkcji haszującej, takich jak warianty MurmurHash lub xxHash, zasiedlonego lub połączonych z identyfikatorem węzła, aby sekwencja ocen każdego węzła wyglądała niezależnie od sekwencji ocen każdego innego węzła. Słowo rendezvous w nazwie przyciąga intuicję doskonale: dla każdego klucza wszystkie kandydaci węzły niezalepiecznie pojawiają się na punkcie spotkania wirtualnego i podawają ofertę, a najwyższa oferta bierze klucz domowym. Nikt z wiadomości koordynacyjnych nigdy nie potrzebuje przekazywać między węzłami dla tego procesu, aby się poprawnie i consistentnie wykonywał na każdym klientcie systemu, co jest istotnym uproszczeniem operacyjnym w porównaniu z schematami wymagającymi synchronizowanej metadanych routingu.

Minimalne Przerywanie bez Pętli

Właściwość, która sprawia, że Rendezvous Hashing jest atrakcyjny dla distributed caches i systemów przechowywania podzielonego, jest tą samą właściwością, która sprawia, że consistent hashing jest atrakcyjny: gdy zestaw węzłów zmienia się, tylko mała, przewidziana część kluczy musi się przesunąć. Rozważ usunięcie węzła z systemu. Każdy klucz, który ten węzeł wygrywał, musi teraz być przypisany do innego węzła, ale przypisanie jest proste: wśród pozostałych węzłów, którykolwiek miał drugo najwyższe punkty dla tego klucza, teraz staje się najwyższym i dziedziczy ten klucz. Klucze, które inne wężeł już posiadały, są całkowicie niewpływające, ponieważ usunięcie jednego węzła nie zmienia względnej rangi punktów między pozostającymi węzłami. Symetrycznie, gdy nowy węzeł dołącza, oblicza swoje własne punkty dla każdego istniejącego klucza i zdobywa tylko te klucze, gdzie jego punkt jest wyższy niż aktualny najwyższy, co oznacza, że zawsze bierze klucze od ich poprzednich właścicieli i nigdy nie przesuwa przydzielone klucze między dwoma innymi węzłami. To gwarantuje, że na średnim tylko część kluczy bliska jednej podzielona przez liczbę całkowitą węzłów przenosi się podczas pojedynczego zmiany członków, co matematycznie pasuje do gwarancji, jaką consistent hashing dostarcza. Mechanizm osiągający ten rezultat, jednakże, jest całkowicie inny. Consistent hashing osiąga minimalne przerywanie poprzez ułożenie węzłów i kluczy na wspólnym numerycznym pętli i pozwalanie każdemu kluczowi podróżować wokół do najbliższego węzła, więc usunięcie węzła wpływa tylko na łuk, który on był dotychczas właścicielem. Rendezvous Hashing osiąga identyczny rezultat bez żadnej pętli, żadnego łuku ani żadnej notii o kolejności przeciwnie do ruchu wskazówek zegara; polega on całkowicie na statystycznym niezależności punktów hash dla par. Oba podejścia rozwiązują tą samą problem balansowania, ale jedno to robi poprzez geometrię przestrzenną, a drugie poprzez niezależne konkurencje losowe.

Kontrast z Zawierajcą Haszującym i Pętlą

Warto być jasno zrozumiały, jak ten podejście różni się od artykułu serwisu na temat zawierającej haszowania, ponieważ oba są często wymieniane razem, ale działają naprawdę inaczej. Zawierajcą Haszowanie umieszcza zarówno węzły, jak i klucze na jednej okrągłej lini liczbowej, co jest zazwyczaj realizowane poprzez haszenie identyfikatorów węzłów i identyfikatorów kluczy do tego samego przestrzeni wyjściowej i traktowanie tej przestrzeni jako pętlę. Klucz jest przypisany pierwszemu węzłowi, od którego zaczynamy kąpiel wokół kierunku zegara z pozycji klucza. Ponieważ mała liczba fizycznych węzłów umieszczonych losowo na pętli może utworzyć bardzo nierównomiernych łuków i zatem nierównomiernego obciążenia, w rzeczywistych implementacjach dodawane są wiele wirtualnych węzłów, czasami sto lub więcej na każdy fizyczny węzeł, aby łączna suma małych łuków przypisanych do jednego fizycznego serwera średnio dawała równomierny udział kluczowej przestrzeni. Rendezvous Haszowanie potrzebuje żadnych takich ram. Nie ma pętli, nie ma kąplej wokół i nie ma pojęcia o długości łuku, więc również nie ma potrzeby dodawania wirtualnych węzłów do uśmiercenia nierównomiernej rozkładu obciążenia; równomierny rozkład obciążenia wynika bezpośrednio z faktu, że każdy punkt na każdym węźle jest niezależnym losowym wylosowaniem z tej samej rozkładu haszującego, więc po wielu kluczach każdy węzeł zdobywa swoje równomierny udział jedynie dzięki symetrii. To sprawia, że Rendezvous Haszowanie jest znacząco prostsze do rozumienia i prawidłowego zaimplementowania: jedno obliczenie haszującego na każdym węźle dla każdego klucza, a następnie podjęcie maksimum, bez utrzymania pętli, bez kontroli wirtualnych węzłów i bez uporządkowanej struktury do utrzymania zaktualizowanej wraz z zmianami członków. Wymiana to koszt obliczeniowy na poszukiwania. Znalezienie właściciela klucza na pętli za pomocą wyszukiwania binarnego po uporządkowanych pozycjach węzłów kosztuje czas proporcjonalny do logarytmu liczby węzłów. Rendezvous Haszowanie musi obliczyć nowe punkty dla każdego pojedynczego węzła, aby znaleźć maksimum, co kosztuje czas proporcjonalny bezpośrednio do liczby węzłów, co staje się znaczącą różnicą, gdy klastr rośnie do setek lub tysięcy węzłów.

Praktyczne Oszacowania i Zastosowanie W Przestrzeni Realnej

Wybór między Rendezvous Hashing a zgodnym hashingiem opartym na pętlach w rzeczywistych systemach często zależy od wielkości klastra, częstotliwości wyszukiwań i tego, jak dużo skomplikowanej implementacji jest gotowe przyjąć ekipa. Dla klastrów z modestowym liczbą węzłów, być może kilkudziesięciu lub mniej, liniowa wykazana wymagana przez Rendezvous Hashing często jest szybka dość na to, aby jej proste rozwiązanie przewyższyło koszt wydajnościowego, ponieważ ocena szybkiego hashingu nie-kryptograficznego kilkudziesiąt razy stanowi małą ilość pracy dla współczesnych systemów, szczególnie gdy może być paralelizowana lub wektorowana. To jest jednym z powodów, dlaczego Rendezvous Hashing został przyjęty w systemach takich jak pewne warstwy routingu żądań w sieciach dostarczania treści i niektóre biblioteki podziału na klienci używane przez systemy buforujące, gdzie lista węzłów zmienia się rzadko a wyszukiwanie może tolerować liniową wykazaną. Zgodny hashing oparty na pętlach jest zazwyczaj preferowany na większą skalę, lub kiedy wyszukiwania zdarzają się bardzo często i obniżenie czasu wyszukiwania ma znaczenie, ponieważ logarytmiczne wyszukiwanie nad strukturą uporządkowaną pętli skali lepiej wraz ze wzrostem liczby węzłów do setkach lub tysięcy. Inny praktyczny aspekt to przypisane wagowe: oba schematy mogą być rozszerzone, aby dodać większą ilość kluczy pewnych węzłom niż innym, na przykład, aby uwzględnić serwer z podwójną pamięcią lub pojemnością dyskowej. Na pętli to zrobić jest możliwe przez przypisanie temu węzłowi proporcjonalnie więcej wirtualnych węzłów. W Rendezvous Hashing, to zrobić polega na mnożeniu lub inaczej uciążeniu obliczonego wyniku tego węzła o czynnik wagowy przed porównaniem go z innymi, co ponownie unika potrzeby zarządzania dużą populacją identyfikatorów wirtualnych. Niektóre podejście nie jest uniwersalnie lepsze; reprezentują one dwa różne rozwiązania inżynieryjne na to samo wymaganie – grzecznej przeprowadzki balansowania kluczowego przestrzeni, gdy członkostwo serwerów zmienia się w czasie.

Tworzenie Intuicji za pomocą Symulatora

Symulator na tej stronie jest zaprojektowany, aby uczynić abstrakcyjne konkurencje ocen konkretnymi obserwacjami. Możesz dodawać węzły, usuwać węzły i wprowadzać klucze, a interfejs pokazuje obliczone wagę, którą każdy aktywny węzeł produkuje dla każdego klucza, podświetlając maksimum, aby pokazać dokładnie, który węzeł wygrywa i o ile. Obserwuj, co się dzieje, gdy usuwasz wygrany węzeł dla konkretnego klucza: symulator ponownie obliczy pozostałe wyniki i pokaże, jak klucz przesuwa się do tego węzła, który teraz ma najwyższą wartość, podczas gdy każda inna przypisana klucz pozostaje całkowicie niewzmocniona. Spróbuj dodać nowy węzeł i zauważy, że on zyskuje tylko te klucze, dla których jego obliczona wartość jest wyższa od dotychczasowego zwycięcy, pozostawiając niepowiązane klucze niewzmocnione. Dodaj większą ilość kluczy i zobacz rozkład wyników między węzłami; po wystarczającej liczbie kluczy, liczby na węzłach powinny się równomiernie rozprzestrzenić, ponieważ wartości podstawowe hash są jak niezależne losowe wyacje, bez żadnego balansowania przez wirtualne węzły ani pozycje pętli. Porównując ten zachowanie obok symulacji zgodności hash opartej na pętli dostępnej na stronie, najświeższa droga do zapamiętania jest to, że te dwie techniki, mimo że mają na celu dokładnie taką samą gwarancję balansowania, docierają tam poprzez podstawowo różne mechanizmy: jedna poprzez geomeトリcalne sasiedztwo wokół okręgu, druga zaś poprzez niezależną konkurencję na poziomie każdego węzła, bez żadnej struktury wspólnej poza obecnym listem członków.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Rendezvous Hashing: Highest Random Weight Assignment i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.