Кислотно-лужна рівновага

Чому єдиний глобальний годинник – це зручна вигадка

В одній машині сортування подій є простим: є один годинник, одна часова шкала, і кожне операцію отримує відмітку часу, з якою погоджується кожен. Розподілені системи руйнують цю зручність. Коли Spanner працює через десятки дата-центрів на різних континентах, кожна машина має свій локальний осцилятор, і навіть із постійним коригуванням ці осцилятори розходяться між собою на вимірювані величини щосекунди. Традиційні розподілені бази даних вирішували цю проблему двома способами. Перший – уникати покладання на реальний час взагалі, використовуючи логічні годинники, такі як відмітки часу Лампорта або вектори годинників, які лише фіксують відносну послідовність причинно-наслідкових подій, ніколи абсолютного годинникового часу. Це працює для коректності, але втрачає корисну інформацію: воно не може сказати, що транзакція А відбулася раніше транзакції Б, якщо вони ніколи не спілкувалися, навіть коли інтуїтивно відомо, що А дійсно завершилася першою в реальному часі. Другий підхід – довіряти синхронізованим годинникам беззастережно, використовуючи, наприклад, час NTP як точний, що швидко, але небезпечно, оскільки помилка синхронізації NTP може дійсно досягати десятків мілісекунд за нормальних умов і значно більше під час проблем з мережею. Інженери Spanner усвідомили, що обидва екстремісти відкидають щось цінне. Логічні годинники відкидають реальне значення; незбагненні фізичні годинники відкидають чесність щодо власної похибки. TrueTime мав інсайт утримувати реальне значення часу мітки, одночасно будучи бездоганно чесним щодо того, наскільки велика похибка навколо нього. Замість повідомлення про читання годинника як фіктивної точки значення, TrueTime повідомляє про нього як те, чим воно є насправді: діапазон, в межах якого справжній час гарантовано знаходиться. Це переосмислення, розглядаючи невизначеність як дані, а не як шум, який потрібно ігнорувати, – це концептуальний стрибок, що робить можливим все інше в цій статті. Воно також пояснює, чому TrueTime вимагав інвестицій у спеціальне обладнання замість чистого програмного трюку; вимірювання невизначеності достатньо точно для корисності потребує реальних фізичних джерел часу, а не лише розумних алгоритмів, накладених на годинники звичайного класу.

GPS, Атомні Годинники та Анатомія Інтервалу

TrueTime.now() не повертає мітку часу; вона повертає структурований інтервал з двома межами, який зазвичай описується як найраніше та пізніше, гарантовано охоплюючи фактичний поточний час на момент виклику. Для того щоб ця гарантія мала сенс, Google створила спеціальну інфраструктуру часу в своїх центрах обробки даних. Кожен центр обробки даних містить набір серверів-майстрів часу, і кожен майстер часу оснащений або GPS приймачем, який отримує надзвичайно точний час від сигналів супутників, або атомним годинником, зазвичай на основі цинку або рубіду, який підтримує час з дуже низьким дрейфом навіть без зовнішніх сигналів. Використання двох незалежних технологій є свідомим рішенням: GPS приймачі можуть вийти з ладу через проблеми з антеною, перешкоди або відключення супутників, а атомні годинники можуть повільно дрейфувати з часом без джерела зовнішнього коригування. Порівнюючи майстри, отримані за допомогою GPS, з майстрами, отриманими за допомогою атомних годинників, і порівнюючи майстрів один з одним у різних центрах обробки даних, Spanner може виявити несправний майстер і виключити його, а не непомітно поширювати погане значення по системі. Кожна інша машина в флоті запускає легковельний демона часу, який опитує цей набір майстрів з короткими проміжками часу, обчислюючи свій власний локальний зсув і швидкість дрейфу відносно них. Між опитуваннями невизначеність демона зростає передбачуваною, обмеженою швидкістю, оскільки локальні осцилятори дрейфують передбачувано в межах зазначених толерантностей, і це зростання невизначеності є тим, що живить ширину інтервалу, повернутого TrueTime.now(). У практиці Google повідомляє, що ширина цього інтервалу, позначена символом епсилон, в середньому становить кілька мілісекунд і рідко перевищує приблизно сім мілісекунд навіть за несприятливих умов, таких як перевантаження мережі або відключення майстрів. Цей інтервал не є пасивною звітністю; це активний, постійно перерахований ліміт, який кожна частина логіки транзакцій Spanner розглядає як істину в останній інстанції. Критично важливо те, що система розроблена таким чином, щоб навіть у найгірших сценаріях, таких як спалах збоїв майстрів, ліміт залишається справжньою гарантією, а не найкращим наближенням, оскільки метою дизайну Spanner було досягнення правильності в реальних найгірших випадках, а не лише хорошої поведінки у поширених випадках.

Чекайте: Перетворення Терпіння на Доказ

Мати чесну невизначену інтервал є лише корисною, якщо решта системи використовує її для забезпечення гарантій. Саме тут вступає в дію протокол очікування коміту Spanner, і це, безсумнівно, найрозумніше рішення з точки зору інженерії у всій системі. Коли транзакція читання-запису готова до комітування, Spanner призначає їй відмітний час комітування, отриманий із TrueTime, спеціально обраний так, щоб бути або після останнього межі поточного інтервалу TrueTime. Перш ніж зробити ефекти транзакції видимими будь-якому іншому клієнту, координуючий сервер свідомо затримує процес, чекаючи до тих пір, поки не може бути впевнений, на основі гарантій TrueTime, що реальний час дійсно просунувся після призначеного відмітного часу комітування. Конкретно, сервер очікує, поки TrueTime.now() повідомить про найближчий межа, який минув відмітний час комітування транзакції. Ця затримка зазвичай невелика, в порядку кількох мілісекунд, що відповідає типовій ширині невизначеного інтервалу, але це реальна, виміряна пауза, а не теоретична приємність. Вигода від цієї терпіння величезна: вона гарантує, що якщо транзакція T1 зовні завершиться, тобто певний клієнт спостерігав за її результатом, до того, як транзакція T2 зовні розпочнеться, то відмітний час комітування T1 гарантовано буде меншим за відмітний час комітування T2, навіть якщо T1 і T2 виконувалися на серверах з протилежних боків планети без прямого зв’язку між ними. Ця властивість називається зовнішньою узгодженістю, також відомою як строга послідовність, і це набагато сильніша гарантія, ніж більш поширена обговорювана послідовність, оскільки вона пов'язує логічний порядок транзакцій із фактичним реальним часом, який відчувають зовнішні спостерігачі. Без очікування коміту дві транзакції могли б отримати відмітні часи, які правильно впорядковані на папері, але через невизначеність годинників пізніша за часовою транзакція насправді могла бути виконана першою у реальному часі, безшумно порушуючи ілюзію єдиного глобального часу. Очікування коміту точно закриває цю прогалину, відмовляючись розголошувати результати до тих пір, поки невизначений вікно не буде доведено, що воно закрите, перетворюючи ймовірне читання годинника на детермінований гарантований порядок.”]} 1) {

Які витрати пов’язані з TrueTime і чому Spanner їх компенсує

Жодне технічне рішення не є безкоштовним, і гарантії TrueTime мають реальну, вимірювану вартість. Кожне операція читання-запису, яка комітується, створює додану затримку, зазвичай кілька мілісекунд, до моменту, коли її ефекти стають видимими зовні. Для робочого навантаження, яке генерує багато малих транзакцій, цей оверхед може бути важливим, і дизайнери Spanner відкрито визнавали у своїх опублікованих дослідженнях, що підтримка епсилона на низькому рівні є безперервним інженерним пріоритетом саме тому, що час комітування прямо залежить від нього: більш нетовий інфраструктура годинників з ширшими межами невизначеності призведе до повільніших комітів у всьому флоті. Саме тому Google інвестував у спеціальне обладнання GPS і атомних годинників, а не покладався на синхронізацію NTP через публічний Інтернет, оскільки весь розрахунок вигоди та ризиків системи залежить від підтримки цього інтервалу вузьким. Варто також зазначити, що TrueTime не робить: воно не усуває координацію для розподілених транзакцій, які торкаються кількох машин, які все ще потребують варіації двофального коміту поверх Paxos-реплікованих груп для стійкості до збоїв. TrueTime конкретно вирішує проблему порядку міток часу, а не ширшу проблему атомарного комітування змін між шарами. Незважаючи на додану затримку, дизайнери Spanner визнали цей компроміс вигідним, оскільки альтернативні підходи були гіршими для їхнього випадку: логічні годинники не можуть забезпечити зовнішню узгодженість з реальним часом, а централізовані сервери міток часу, де один секвенсер видає всі мітки часу, стають як вузьким місцем, так і єдиною точкою відмови на глобальному рівні. TrueTime дозволяє кожному серверу незалежно обчислювати правильні, глобально значущі мітки часу без необхідності звертатися до центральної влади за кожну транзакцію, торгуючи невеликою, обмеженою та передбачуваною вартістю затримки усунення ширшої архітектурної проблеми. Цей урок добре поширюється далеко за межі Spanner: в розподілених системах явно моделювання та обмежування невизначеності, а не її ігнорування, часто дає як сильніші гарантії правильності, так і кращу продуктивність, ніж будь-який екстремум ігнорування проблеми або надмірної інженерії обхідного шляху.

За межами Спаннера: Чому ця ідея переосмислила розподілені бази даних

Вплив TrueTime сягає далеко за межі інфраструктури Google. Коли Google опублікувала папір про Spanner, що описував TrueTime публічно, це продемонструвало ширшій спільноті баз даних та розподілених систем, що сильні гарантії узгодженості в реальному часі досяжні на планетарному рівні, за умови готовності інвестувати в фізичну інфраструктуру для мінімізації та доведення невизначеності годинників. Це надихнуло ціле покоління систем, включаючи CockroachDB, YugabyteDB та TiDB, на прийняття подібних гібридних підходів з логічними годинниками або обмеженою невизначеністю, хоча більшість цих систем, не маючи індивідуальних атомних годинників і GPS-обладнання, розгорнутого в кожному дата-центрі, використовували ширші межі невизначеності або переходили на гібридні логічні годинники, що поєднують фізичний час із логічними лічниками. Однак основний концептуальний внесок виходить за рамки будь-якої конкретної реалізації: невизначеність, коли її виміряно та обмежено замість того, щоб відкинути, може бути ресурсом, а не лише недоліком. Ця ідея резонує далеко за межі баз даних. У проєктуванні мережевих протоколів, у злитті датчиків для робототехніки та в розподіленому консенсі більш загальному, системи, які явно відстежують та спілкуються про свої межі похибок, схильні бути більш стійкими, ніж системи, які неявно припускають досконалість і непередбачувано зазнають збоїв, коли це припущення порушується. TrueTime Spanner, в певному сенсі, є випаком у справжній чесності як інженерного принципу: замість того, щоб ховати незручність неточних апаратних годинників за абстракцією, яка ігнорує це, інженери Google прямо розкрили цю незручність для рівня застосунку, у ретельно виміряній та дійсній формі, і побудували сувору протокол «чекання на коміт» на основі цієї чесності. В результаті була створена база даних, яка пропонує гарантії, які раніше вважалися неможливими, або жертвуючи глобальним масштабом, або жертвуючи сильну узгодженість, досягнувши замість цього поваги до справжньої, невизначеної природи фізичних годинників, а не намагаючись її відкинути. Це залишається одним із найяскравіших ілюстрацій в сучасній комп'ютерній науці того, як визнання жорсткого фізичного обмеження точно, а не наближення навколо нього, може розкрити можливості, які не міг би відкрити наївний обхідний шлях.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Google Spanner's TrueTime API: Turning Clock Uncertainty into a Global Guarantee і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.