Зустріч хешування: Найвищий випадковий вага призначення

Як працює механізм оцінювання

Рendezvous Hashing призначає ключ вузлу за допомогою функції оцінювання на основі пар замість спільної геометричної структури. Для ключа k та кандидата вузла n алгоритм обчислює вагу, застосовуючи хеш-функцію до комбінації ключа та ідентифікатора вузла, концептуально як вага = хеш ключа з’єднаний з ідентифікатором вузла. Кожен вузол у поточному наборі членів обчислює свою власну вагу для того ж ключа, і вузол із найсуворішим найвищим рейтингом оголошується власником цього ключа. Оскільки хеш-функція є детермінованою, будь-який клієнт, що має поточний список вузлів, завжди обчислює точного переможця для заданого ключа без необхідності звертатися до таблиці пошуку, координатора або кільцевого кольору. Це робить схему природно безпосередньою: членство є єдиним спільним знанням, яке потрібно, а призначення само по собі випливає з арифметики. Якість хеш-функції тут має величезне значення, оскільки ваги повинні поводитися як незалежні рівномірні випадкові змінні як для ключів, так і для вузлів, щоб схема рівномірно розподіляла навантаження. У практиці реалізації використовуються швидкі, добре розподілені хеш-функції, такі як варіанти MurmurHash або xxHash, засіяні або об’єднані з ідентифікатором вузла так, щоб послідовність оцінок кожного вузла виглядала не пов'язаною з будь-якою іншою послідовністю оцінок вузлів. Слово «rendezvous» в назві добре відображає інтуїцію: для кожного ключа всі кандидати вузли незалежно прибувають до віртуальної зустрічі та подають ставку, і найвищий ставок бере ключ додому. Не потрібно передавати жодне повідомлення координації між вузлами для того, щоб цей процес відбувався правильно та послідовно для кожного клієнта в системі, що є значною операційною спрощенням порівняно зі схемами, які вимагають синхронізованих метаданих маршрутизації.

Мінімальні порушення без обізнаності

Ця техніка робить хешування Rendezvous привабливим для розподілених кешів і шардованих систем зберігання, тому що коли набір вузлів змінюється, лише невеликий, передбачуваний відсоток ключів потрібно перепризначити. Розглянемо видалення вузла з системи. Кожен ключ, який цей вузол раніше виграв, тепер повинен бути перепризначений, але перепризначення просте: серед решти вузлів, той, що мав другий найвищий бал для цього ключа, тепер стає найвищим, тому він успадковує ключ. Ключі, які вже володіли іншим вузлом, повністю не постраждали, оскільки видалення одного вузла не змінює відносного ранжування балів між вузлами. Симметрично, коли новий вузол приєднується, він обчислює свій власний рейтинг для кожного існуючого ключа та лише захоплює ключі, де його рейтинг перевищує поточний найвищий, що означає, що він лише ніколи не бере ключі від їх попереднього власника і ніколи не порушує призначення між двома іншими вузлами. Це гарантує, що в середньому лише близько однієї чверті від усіх ключів, які змінюються, перепризначається під час зміни членства. Механізм, який досягає цього результату, повністю відрізняється від того, як досягають мінімальні порушення за допомогою консистентного хешування. Консистентне хешування досягає мінімальних порушень шляхом розміщення вузлів і ключів на спільій числовій колі та дозволяє кожному ключу подорожувати за годинниковою стрілкою до найближчого вузла, тому видалення вузла впливає лише на дугу, яку він раніше володів. Хешування Rendezvous досягає ідентичного результату без будь-якої колі, дуги або поняття годинникової стрілки; воно покладається виключно на статистичну незалежність між кожною парою балів хешування.

Контраст із послідовним хешуванням та кільцем

Важливо зазначити, як цей підхід відрізняється від статті про послідовне хешування на сайті, оскільки обидва часто згадуються разом, але працюють принципово різними способами. Послідовне хешування розміщує як ноди, так і ключі в єдиному колі, зазвичай хешуючи ідентифікатори вузлів та ключів у один вихідний простір і розглядаючи цей простір як кільце. Ключ призначається першій ноді, знаходженій шляхом обходу по колу за годинниковою стрілкою від позиції ключа. Оскільки невелике число фізичних вузлів, розташованих випадковим чином на кільці, може створити дуже нерівномірні довжини дуг і, отже, нерівномірний розподіл навантаження, реальні впровадження додають багато віртуальних вузлів, часто по одному або сто з них на фізичний вузол, щоб об'єднання малих дуг, призначених для одного сервера, усереднювалося до справедливого частки простору ключів. Rendezvous Hashing не потребує цієї конструкції. Немає кільця, немає обходу за годинниковою стрілкою, і немає концепції довжини дуги, тому також немає потреби в віртуальних вузлах для згладжування дисбалансу навантаження; рівномірний розподіл навантаження випливає безпосередньо з того, що незалежний результат витягується з одного й того ж розподілу хешів для кожної ноди та ключа, тому за багатьох ключах кожна нода виграє свою справедливу частку лише завдяки симетрії. Це робить Rendezvous Hashing помітно простішим у розумінні та правильній реалізації: один обчислення хешування на вузол для кожного ключа, потім береться максимум, без підтримки кільця, без бухгалтерського обліку віртуальних вузлів і без структури, яку потрібно оновлювати при зміні членства. Торгівля полягає в обчислювальній вартості за запит. Знаходження власника ключа на кільці з бінарним пошуком по відсортованих позиціях вузлів коштує часу пропорційного логарифму кількості вузлів. Rendezvous Hashing повинен обчислити свіжий бал проти кожного окремого вузла, щоб знайти максимум, що коштує часу пропорційному кількості вузлів безпосередньо, що стає суттєвою відмінністю, коли кластер росте до сотень або тисяч вузлів.

Практичні Компроміси та Реальні Використання

Вибір між хешуванням Rendezvous і на основі кілець консистентним хешуванням у реальній системі зазвичай залежить від розміру кластеру, частоти запитів та того, скільки обсягу роботи готова взяти на себе команда з розробки. Для кластерів із помірною кількістю вузлів – можливо, кілька десятків або менше – лінійний пошук, необхідний для хешування Rendezvous, часто достатньо швидкий, щоб його простота переважила витрати на продуктивність, оскільки оцінка швидкого некриптографічного хешу кілька разів на сучасних пристроях, особливо якщо її паралелізують або векторізують, є незначним обсягом роботи. Це пояснює, чому хешування Rendezvous було прийнято в системах, таких як певні шари маршрутизації запитів доставки контенту та деякі бібліотеки для шардування клієнтів, що використовуються в системах кешування, де список вузлів рідко змінюється і запити можуть терпіти лінійний пошук. На основі кілець консистентне хешування зазвичай віддають перевагу на значно більших масштабах або коли запити до кешу відбуваються надзвичайно часто і важливо заощадити час на пошук, оскільки логарифмічний пошук по відсортованому кільцю краще масштабується зі збільшенням кількості вузлів до сотень або тисяч. Ще один практичний аспект – зважене призначення: обидва підходи можна розширити для надання певним вузлам більшої частки ключів, ніж іншим, наприклад, щоб врахувати сервер із подвоєною пам’яттю або обсягом дискового простору. У кільці це робиться шляхом пропорційного призначення цьому вузлу більшої кількості віртуальних вузлів. У хешуванні Rendezvous це робиться шляхом множення або іншого способу спотворення обчисленого балу цього вузла перед порівнянням його з іншими, що ще раз усуває необхідність керувати великою кількістю ідентифікаторів віртуальних адрес. Жоден із цих підходів не є універсально кращим; вони представляють дві різні інженерні відповіді на однакове завдання – безперешкодно перерозподіляти простір ключів, коли змінюється складність сервера з часом.

Будівництво інтуїції з симулятором

Цей симулятор на сторінці призначений для того, щоб зробити абстрактну оцінку більш відчутною. Ви можете додавати вузли, видаляти їх, вставляти ключі, і для кожного ключа інтерфейс показує обчислену вагу, яку виробляє кожен поточний активний вузол, підкрелюючи максимальну, щоб ви могли побачити, який вузол переміг і наскільки. Подивіться, що відбувається, коли ви видаляєте переможний вузол для певного ключа: симулятор перераховує результати та показує, як ключ зсувається до вузла, який тепер має найвищий показник, залишаючи нетронутою будь-яку іншу ключову прив'язку. Спробуйте додати новий вузол і подивіться, що відбувається, коли його свіжообчислений бал перемагає поточного лідера, знову залишаючи незв’язні ключі без змін. Вставте великий пакет ключів і подивіться на розподіл між вузлами; при достатній кількості ключів їх кількість у вузлах майже вирівнюється через те, що основні хеш-бали поводяться як незалежні рівномірні витяги, без жодних віртуальних вузлів або позицій на кільці, які виконують будь-яку роботу з балансування.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Rendezvous Hashing: Highest Random Weight Assignment і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.