Zapis w przyszłości: Jak bazy danych przetrwują awarię

Kluczowe Reguła: Zapisz Przed Akcją

Cały protokół zapisu w przód (write-ahead logging) sprowadza się do jednego, niewspieralnego regulaminu: przed wprowadzeniem jakiejkolwiek zmiany w plikach danych na dysku, musi najpierw zostać zapisana notatka opisująca tę zmianę w sekwencyjnym, tylko do dodawania dzienniku i potwierdzona jako taka — co oznacza, że została ona wyrenderowana do fizycznego magazynu danych, a nie tylko siedzi w buforze systemu operacyjnego. Z tego powodu nadszedł ten termin: wpis dziennika jest zapisywany przed rzeczywistą modyfikacją. Transakcja nigdy nie jest rozpatrywana jako zakommitowana, dopóki jej wpis w dzienniku nie znajdzie się bezpiecznie na dysku, nawet jeśli strony główne danych nadal mogą reprezentować stare, przed-zmianowe wartości przez długie czas po tej zmianie. Ta gwarancja kolejności jest jednym z kluczowych założeń podziwności prawie wszystkich stwierdzeń dotyczących trwałości bazy danych, na które zależał jesteś. Jeśli zapisanie dziennika się wydarzy najpierw i zostanie potwierdzone jako twardsze, baza danych ma wszystko co potrzebuje do odtworzenia zmiany w przyszłości, niezależnie od tego, co się stanie ze wolniejszymi, bardziej złożonymi procesamiaktualizacji strony danych. Rozbić tę kolejność — wyrenderować najpierw stronę danych a potem dziennik — spowoduje, że cała model bezpieczeństwa zawali się, ponieważ awaria między tymi dwoma krokiem zostawiłaby plik danych zmodyfikowany bez notatki wyjaśniającej, co zostało zmienione ani czy to miało być na stałe.

Odzyskiwanie po awarii: Powtórzenie dziennika

Zapłata za zasady zapisu w przód pojawia się w chwili, gdy coś się źle wydarzy. Jeśli baza danych awaryjnie zatrzyma się — spadnięcie sił elektrycznych, zabójstwo procesu, panika systemu operacyjnego — nie musi zgadywać, jakie są jej pliki danych. Podczas ponownego uruchomienia proces odzyskawania czyta w przód przez dziennik, zaczynając od ostatniego dobrego punktu kontrolnego, i powtarza każde zapisane tam rekordy. Dla każdej transakcji, której potwierdzenie zostało zapisane w trwały dziennik, odzyskiwanie ponownie wykonuje zmianę, stosując ją do plików danych w przypadku, gdy nie została ona jeszcze zapisana tam. Dla każdej transakcji, która była w toku i nigdy nie dotarła do potwierdzenia, odzyskiwanie cofa wszystkie częściowe zmiany, które wprowadziła, korzystając z wcześniejszych informacji z dziennika, aby wrócić do stanu przed transakcją. Ta operacja powtórzenia i cofania jest deterministyczna i mechaniczna: dziennik to pełny, uporządkowany rejestr celów, więc odzyskiwanie naprawdę jest tylko dokładnym zapisywaniem się, a nie zgadywaniem. Wynikiem jest taka sytuacja, że baza danych może awarijnie zatrzymać się w dowolnej chwili — podczas transakcji, podczas punktu kontrolnego, podczas czegokolwiek innego — i nadal może ponownie uruchomić się w stanie dokładnie takim, jakby tylko potwierdzone transakcje miały miejsce, nic więcej i nic mniej. Ta gwarancja pozwala aplikacjom zaufać potwierdzeniu bez obaw o fizyczną zamieszanie podłoże.

Dlaczego kolejne zapisy są wydajnością

Pisanie przed zapisem nie jest tylko mechanizmem bezpieczeństwa, to również ciekawa technika wydajności ukryta pod maską bezpiecznego mechanizmu. Prawdziwe pliki danych bazy danych są organizowane w stronach rozrzucanych po dysku według tabeli, indeksu i lokalizacji wiersza, więc bezpośrednie modyfikowanie ich oznacza ciągłe przesuwanie do różnych, nieprzewidywalnych miejsc — losowe zapisy, które są porównywalnie wolne, szczególnie na dyskach obrotowych oraz nawet stopniowo na pamięci flash. Log jest w przeciwieństwie do tego tylko do dodawania: każda nowa rekord jest prosto dodawana na końcu bieżącego pliku logu, co oznacza, że urządzenie przechowywujące może zapisywać go jako jedno szybkie, kolejne streamowanie. Kolejne zapisy mogą być znacznie szybsze niż losowe zapisy, ponieważ unikają kosztów wyszukiwania i pozwalają na skuteczne grupowanie i streamowanie danych podstawowemu przechowywaniu. Pisanie przed zapisem wykorzystuje tę różnicę bezpośrednio: ponieważ trwałość wymaga tylko ukończenia kolejnego zapisu logu, baza danych może opóźnić wolniejsze, rozrzucane modyfikacje prawdziwych stron plików danych do późniejszej chwili, grupując wiele z nich razem i zapisywanie ich skutecznie w bloku. Klient otrzymuje szybki, trwał komitet w chwili wyczyścenia rekordu logu, podczas gdy drogocenne losowe zapisy do prawdziwych plików danych odbywa się wolno w tle, poza krytycznym ścieżkowym przebiegiem każdej transakcji.

Checkpointing: Granica dziennika

Jeśli baza danych dopisywała tylko do dziennika i nigdy nie zmieniała plików danych, pojawiłyby się dwa problemy: dziennik rosnąłby bez końca, a awaria w późniejszej fazie życia bazy wymagałaby odgrywania ogromnej historii od pierwszego zapisu. Checkpointing rozwiązuje oba te problemy. Okresowo, baza danych przerwa się na chwilę i rzeczywiście zastosuje wszystkie wpisane zmiany do punktu określonego w dzienniku bezpośrednio do głównych plików danych, przyniżając je do najbardziej aktualnych stanu opisanego przez dziennik. Po tym, gdy ta praca została wykonana i potwierdzona jako trwała, wszystko przed punktem checkpointa w dzienniku już nie jest potrzebne do odzyskania — opisuje zmiany, które są teraz zawsze widoczne w samych plikach danych, więc te starsze wpisy mogą być zignorowane lub arcywizowane. Checkpoint effectively staje się nowym punktem wyjścia dla odzyskania: po awarii odgrywanie wymaga tylko przejrzenia dziennika od najnowszego checkpointa w przyszłości, a nie od początku czasu. To jest bezpośrednia klawisze do obracania się dla zarządców baz danych: częstsze checkpointing oznacza krótsze czasy odzyskiwania po awarii, ale dodaje nadmiar obciążenia z powodu dodatkowych zapisów plików danych, podczas gdy rzadziej checkpointing zmniejsza to obciążenie, ale pozostawia dłuższy dziennik do odgrywania w przypadku awarii.

Systemy rzeczywiste oparte na zapisie przed transakcją

Zapis przed transakcją nie jest teoretycznym zagadnieniem, jest gronem prawie każdego systemu przechowywania danych w użyciu w produkcji. PostgreSQL implementuje go pod nazwą WAL (Pierwsze wyrenderowanie treści (FCP)), przesyłając każdą zmianę do plików segmentów WAL przed dotarcia do stron tabel, a następnie używając tego samego logu do wspierania replikacji i odtwarzania punktu w czasie. Silnik przechowywania InnoDB w MySQL używa odpowiedniego struktury nazwanego dziennikiem redo (redo log), który pełni identyczną rolę, zapewniając, że zatwierdzone transakcje przetrwają awarię nawet jeśli bufor pamięci przechowujący zmodyfikowane strony zostanie utracony. Poza bazami danych relacyjnymi ta sama podstawa idei pojawia się w współczesnych systemach plikowych jako dziennik (journaling) — ext4, NTFS i APFS zapisują mały dziennik operacji metadanych (a czasem również danych), aby awaria dysku podczas przekształcenia energii nie uszkodziła struktur wewnętrznych systemu plików. Systemy rozproszone i kolejki wiadomości również korzystają z tego wzorca, używając tylko do dodawania dzienników jako źródła prawdy, z których można ponownie stworzyć wszystko inne. Gdziekolwiek znajdziesz system obiecujący, że Twoje dane przetrwają niespodziewaną awarię, jest bardzo prawdopodobne, że tajemniczy dziennik zapisu przed transakcją wykonuje na tle rzeczywiste prace.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Write-Ahead Logging: How Databases Survive a Crash i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.