Interfejs API TrueTime Google Spanner: Konwersja niepewności zegara na globalne gwarancje

Dlaczego pojedynczy globalny zegar jest fałszywą przyjemnością

W pojedynczej maszynie porządkowanie zdarzeń to proste zadanie: istnieje jeden zegar, jedna linia czasu, a każda operacja ma timestamp, na który wszyscy się zgadzają. Systemy rozproszone zniweczyły tę przyjemność. Gdy Spanner działa na setkach centrale danych po różnych kontynentach, każda maszyna ma swój własny lokalny oscylator, a nawet z ciągłą korekcją, te oscylatory odchylają się od siebie o mierzone ilości co sekundę. Traditionalne bazy danych rozproszone radziły sobie z tym odchyleniem jednym z dwóch sposobów. Pierwszy sposób polegał na unikaniu korzystania z rzeczywistego czasu w ogóle, używając logicznych zegarów takich jak timestampi Lamporta lub klocki wektorowe, które tylko rejestrują względny porządek przyczynowo powiązanych zdarzeń, nigdy nie rzetelnego czasu zegara. To działa na poziomie poprawności, ale trąci użyteczne informacje: nie może powiedzieć, że transakcja A miała miejsce przed transakcją B, jeśli te transakcje nigdy się nie komunikowały, nawet gdy rozsądek mówi, że A naprawdę zakończyła się wcześniej w rzeczywistym czasie. Drugi sposób polegał na zaufaniu do zegarów synchronizowanych bez wahania, używając np. prostej NTP jako jakby był on dokładny, co jest szybkie, ale niebezpieczne, ponieważ błąd synchronizacji NTP może rzeczywiście osiągać dziesiątki milisekund w normalnych warunkach i znacznie więcej podczas problemów z siecią. Inżynierowie Spannera zrozumieli, że obie ekstrema tracą coś wartościowego. Logiczne zegary odrzucają rzeczywistą znaczenie; nieświadoma fizyka zegarowa odrzuca szczerą informację o swoim własnym błędzie. Znajomość TrueTime polegała na zachowaniu rzeczywistej znaczenia timestampu, jednocześnie szczodrze przyznając się do wielkości tego błędu. Zamiast zwracać czytanie zegara jako fikcyjne wartość punktu, TrueTime zwraca je jako to, czym są na prawdę: zakres w którym rzeczywisty czas jest gwarantowany, że spadnie. Ta zmiana perspektywy, traktując niepewność jako dane, a nie jako szum do ignorowania, to koncepcyjny skok, który pozwala na wszystko, co jest możliwe w tej pracy. To wyjaśnia również, dlaczego TrueTime wymagał inwestycji w specjalistyczne sprzęt, a nie był jedynie czystym sztucą programistyczną; precyzyjna miara niepewności, która ma sens, wymaga rzeczywistych źródeł czasu fizycznego, a nie tylko ciekawych algorytmów nałożonych na komercyjne zegary.

GPS, zegary atomowe i anatomią interwału

TrueTime.now() nie zwraca znaczenia czasu; zwraca strukturalny interwał z dwiema granicami, obecnie opisanymi jako najwcześniejsza i najpóźniejsza, które są gwarantowane do obejmowania rzeczywistej aktualnej daty i godziny w chwili wywołania. Aby sprawić, aby ta gwarancja miała sens, Google wprowadziło dedykowaną infrastrukturę czasową do swoich centrów danych. Każdy z centrów danych hostuje zestaw serwerów nadzorujących czas, a każdy serwer nadzorujący jest wyposażony w albo odbiornik GPS, który wylicza bardzo dokładny czas na podstawie sygnałów satelitarnych, lub zegar atomowy, najczęściej odniesiony do cesyumu lub rubidium, który utrzymuje czas z bardzo niskim spadkiem bez potrzeby dodatkowych sygnałów zewnętrznego. Używanie dwóch niezależnych technologii jest świadomym decyzją: odbiorniki GPS mogą się awariować ze względu na problemy z anteną, zakłócenia czy awarie satelitów, podczas gdy zegary atomowe mogą spadkować wolno w czasie bez źródła zewnętrznego korekcji. Przeczesując odbiorniki GPS przeciwko odbiornikom zegarowi atomowego i przeciwko sobie między różnymi centrami danych, Spanner może wykryć awaryjne odniesienie i go zignorować, a nie przekazać złego odczytu cicho przez system. Każda inna maszyna w flotie uruchamia mały demon slava czasu, który regularnie zagadza wybrany zestaw tych nadzorców, obliczając swój własny lokalny odstęp i stopę spadku względem nich. W trakcie tego, gdy demon nie zagada, niepewność rośnie znanym, ograniczonym tempem, ponieważ lokalne oscylatory spadkują przewidzianie w zakresie określonych tolerancji, a ta rosnąca niepewność dokładnie wpływa na szerokość interwału zwracanego przez TrueTime.now(). W praktyce Google zgłosiło, że ta szerokość interwału, oznaczana symbolem epsilon, średnio wynosi kilka milisekund i rzadko przekracza około siedem milisekund nawet pod warunkami niekorzystnymi jak zatłoczenie sieci lub awaria nadzorcy. Interwał nie jest pasywnym raportem; to aktywne, ciągle obliczane ograniczenie, które każda część logiki transakcji Spanner traktuje jako prawdę. Krytycznie, system jest zaprojektowany tak, że nawet w najgorszych przypadkach, takich jak burza awarii nadzorcy, ograniczenie pozostaje prawdziwą gwarancją, a nie estymacją najlepszej wysiłku, ponieważ cel projektowania Spannera był poprawność pod rzeczywistym najgorszym przypadkiem, a nie tylko dobre zachowanie w przypadku zaznaczonymy.

Oczekiwanie na komit: Konwersja cierpliwości w dowód

Aby szczery przedział niepewności był przydatny, cała system musi go używać do podawania gwarancji. W tym miejscu wchodzi w grę protokół oczekiwania na komit Spannera, a być może jest to jedno z najbardziej genialnych innowacji w całym projektie. Gdy transakcja czytająco-pisaną jest gotowa do komitu, Spanner przypisuje jej datę komitu wybraną z TrueTime, konkretnie taka, która jest równa lub późniejsza niż najnowszy zakres obecnej interwally TrueTime. Przed wprowadzeniem efektów tej transakcji w widoczność dla dowolnego innego klienta, serwer koordynacyjny świadomie odkłada czas i czeka, aż będzie mógł być pewien, że na podstawie gwarancji TrueTime rzeczywisty czas przeszedł po przypisanej datie komitu. Konkretnie, serwer czeka, aż funkcja TrueTime.now() zwróci najwcześniejszy zakres, który przekroczy datę komitu transakcji. Ta odkładanie jest zwykle małe, około kilku milisekund, odpowiadające typowej szerokości przedziału niepewności, ale to rzeczywiste, pomiarowe przerwanie, a nie teoretyczne wygodę. Wynagrodzeniem za tę cierpliwość jest ogromna korzyść: gwarancja, że jeśli transakcja T1 zewnętrznie ukończy się, co oznacza, że jakiś klient widział jej rezultat, przed transakcją T2 zewnętrznie rozpoczętą, to data komitu T1 jest gwarantowana do być mniejsza niż data komitu T2, nawet jeśli T1 i T2 wykonane były na serwerach po przeciwnej stronie planety bez bezpośredniej komunikacji między nimi. Ta właściwość nazywa się zewnętrzną zgodnością, czasami nazywaną sztywnym serjalizowaniem, a to jest gwarancja silniejsza niż szeroko dyskusjonowana serjalizacja, ponieważ łączy porządek logiczny transakcji z rzeczywistym, realnym porządkiem zegara, który doświadczają obserwatorzy zewnętrzni. Bez oczekiwania na komit, dwie transakcje mogłyby być przypisane daty, które wyglądają prawidłowo uporządkowane na papierze, ale ze względu na niepewność zegara, przyszła transakcja może w rzeczywistości zakończyć się wcześniej niż przeszła, cichym złamanie iluzji jednego globalnego linii czasu. Oczekiwanie na komit zamknie dokładnie tę lukę, odmawiając od odsłaniań rezultatów, aż okno niepewności zostanie dowcipowo zamknięte, przekonwertując czytelną ocenę zegara na deterministyczną gwarancję uporządkowania.

Jaka kosztuje TrueTime, i dlaczego Google nadal go zapłaca

Nie ma decyzji technicznej, która byłaby bezkoszowa, a gwarancje TrueTime wiązane są z rzeczywistym, mierzanym kosztem. Każda transakcja odczytu-napisania, która zatwierdza się, płaci opóźnienie zatwierdzania-czekania, co w praktyce oznacza dodatkową linię czasu typowo rzędu kilku milisekund przed tym, jak jej efekty stały się widoczne dla zewnetrznych. Dla obciążen wydajnościowych emitujących wiele małych transakcji, ten opóźnienie może mieć znaczenie, a projektanci Spannera były otwarczy w swoich publikowanych badaniach, że utrzymywanie epsilonia mały było ciągłą priorytetem inżynierskim dokładnie dlatego, że zatwierdzanie-czekanie skali bezpośrednio z nim: słabsza infrastruktura czasu, z większą przesłanką niepewności, oznaczałaby wolniejsze zatwierdzania całościowej floty. Dlatego Google zainwestował w dedykowane sprzęt GPS i atomowe zegarka zamiast polegać na komercyjnej synchronizacji NTP przez publiczny internet, ponieważ cały obliczeniowy koszt-beneficja zależy od utrzymania tego przedziału małym. Warto także podkreślić, co TrueTime nie robi: ono nie usuwa koordynacji dla transakcji dystrybuowanych, które zaszerzają wiele maszyn, które nadal wymagają wariantu dwufazowego zatwierdzania nałożonego na grupy odbiorców zautomatyzowanego za pośrednictwem Paxos dla wytrzymałości. TrueTime rozwiązuje specjalnie problem porządkowania etykiet czasowych, a nie szerszy problem atomowego zatwierdzania zmian w kawałkach. Dlatego, mimo dodatkowej lini zasięgu, projektanci Spannera uznały, że tą wymianę za cenę jest warto, ponieważ alternatywnych podejść byłyby gorsze dla ich przypadku użycia: puresz logiczne nie mogą dawać zewnętrznej zgodności z znaczeniem czasu rzeczywistego, a centralne serwery etykiet czasowych, gdzie jedna sekwencja emituje wszystkie etykiety czasowe, stają się zarówno bierzącym punktem bramkowym, jak i pojedynczym punktem fałszywej wydajności na skalę globalną. TrueTime pozwala każdemu serwerowi niezależnie obliczać poprawne, globalnie znaczące etykiety czasowe bez konieczności rozmawiania z centralnym autorytetem dla każdej transakcji, wymieniając małą, ograniczoną i przewidywalną koszt lini zasięgu na eliminację znacznie większej zagrożenia architektonicznego. Ten wniosek dobrze się generalizuje poza Spanner: w systemach dystrybuowanych, modelowanie i ograniczanie niepewności w sposób jawny, a nie zaunkoświetlenie jej, często prowadzi do obojętnie silniejszych gwarancji poprawności i lepszej wydajności niż oba krańce - ignorowanie problemu lub nadinżynieryjne szkolenie się na jego rozwiązywanie.

Po Spannerze: Dlaczego Ta Idea Zmieniła Distributywne Bazy Danych

Zarówno wewnętrzna infrastruktura Google, jak i bazy danych oraz systemy rozproszone otrzymały odniesienie do wpływu TrueTime. Kiedy Google opublikowała artykuł Spannera opisujący TrueTime publicznie, pokazała światowej społeczności baz danych i systemów rozproszonych, że silne gwarancje koniunktury czasu w rzeczywistym czasie są osiągalne na skalę planety, jeśli tylko zaszkodzą do infrastruktury fizycznej, aby niepewność zegara była mała i dowodzona. Ta informacja inspirowała całe pokolenie systemów, w tym CockroachDB, YugabyteDB i TiDB, do przyjęcia podobnych hybrydowych klocków logicznych lub ograniczonej niepewności, choć większość tych systemów, brakując Google'owego niestandardowego zegara atomowego i sprzętu GPS w każdym centrum danych, musiała używać szerszych zakresów niepewności lub opadła do hybrydowych klocków logicznych łączących czas fizyczny z licznikami logicznymi. Jednak podstawowe pojęciowe przyczepa przekroczyła jakiekolwiek konkretny implementacji: niepewność, gdy jest pomiarowa i ograniczona, a nie przytłumiona, może być zasobem, a nie tylko obciążeń. Ta myśl odbija się dalej niż tylko bazy danych. W projektowaniu protokołów sieciowych, w łączeniu sensorów dla robotyki i w rozszerzonym zakresie zgody rozproszonej, systemy, które jasno śledzą i komunikują swoje własne zakresy błędu, są zazwyczaj bardziej odpornościowe niż systemy, które nieco przyjmują perfekcję i niespodziewanie porzucają działanie, gdy ta przyjemność się rozkłada. Spanner TrueTime jest w pewnym sensie studium przypadku szacowności intelektualnej jako zasady inżynieryjnej: zamiast ukryć chaotyczną rzeczywistość nieperfekcyjnych zegarów za abstrakcją, która sugeruje w przeciwnym sensie, Google'owi inżynierom ukazało to chaos bezpośrednio warstwie aplikacji, w formie dokładnie mierzonyma i działalnej, a następnie zbudowało duchowny protokół commit wait na tej szczeblu szczerości. Wynikiem było taka baza danych, która oferowała gwarancje, które wcześniej wydawały się wymagać either saczania globalnej skali lub silnej koniunktury, osiągnięte zamiast tego poprzez szanowanie rzeczywistej, niepewnej natury zegarów fizycznych, a nie pragnienie ukrycia ich. To nadal jedna z najjasniejszych ilustracji w współczesnej informatyce, jak dokładnie przyznawanie się do trudnego ograniczenia fizycznego, a nie okrągłe obliczanie wokół niego, może odblokować możliwości, które prosty workaround nigdy by nie mógł otworzyć.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Google Spanner's TrueTime API: Turning Clock Uncertainty into a Global Guarantee i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.