Monte Carlo Integration – A Primer

Rozkład, który się aktualizuje

Łańcuch Markowa to zbiór stanów i macierz przejść P, gdzie element P_ij oznacza prawdopodobieństwo przejścia ze stanu i do stanu j w jednym kroku. Biorąc pod uwagę dowolny rozkład początkowy π₀ na stanach – wektor prawdopodobieństw wierszowy – rozkład po jednym kroku wynosi π₁ = π₀ P, a powtarzalne wykonywanie tego krok po kroku stanowi całą symulację.

π_{t+1} = π_t · P                one step of the chain
π★ P = π★                      stationary distribution: a left eigenvector of P with eigenvalue 1

Dlaczego istnieje przynajmniej jedna rozkład staczejna

Dla łańcucha, który jest wyodrębniony (każyste stan może w końcu osiągnąć każdy inny stan) i okresowy (nie utkną w cyklu stanów w ustalonym rytmie), twierdzenie Perrona-Frobenius gwarantuje unikalny rozkład staczejzny π* do którego zbiega się każda rozkład początkowy, niezależnie od tego, skąd zaczął się. Ta kombinacja wyodrębnionych i okresowych ma nazwę – łańcuch ergiczny – i jest to dokładnie warunek, w którym są zbudowane lub celowo naruszane ustawienia pogodowe i hazardu.

Jak szybko zbiega się do stanu stacjonarnego

Osiągnięcie rozkładu stacjonarnego nie następuje natychmiast, a prędkość jest kontrolowana wartościami własnymi P poza pierwszą, która zawsze wynosi dokładnie 1. Sortuj wartości własne według wielkości; druga z największych, λ₂, kontroluje jak szybko zanika transientny element rozkładu, zmniejszając się w przybliżeniu jak |λ₂|ᵗ po t krokach. Próżnia 1 − |λ₂| nazywana jest przepustem spektralnym, a większy przepływ oznacza szybsze mieszanie – łańcuch szybciej zapomina o swoim początkowym stanie. Łańcuch z wartością własną bliską 1 obok pierwszej będzie wyglądał niemal zamrożony przez długi czas przed nagłym ustabilizowaniem, co dokładnie odpowiada wyglądowi macierzy przejścia prawie rozkładalnej (dwóm słabo połączonym grupom stanów) na ekranie.

x_{t+1} = Pᵀ x_t / ||Pᵀ x_t||       power iteration — converges to π★ at rate |λ₂/λ₁|

Odwracalność to przydatny skrót, a nie wymóg

Niektóre łańcuchy spełniają szczegółowy bilans: π★_i P_ij = π★_j P_ji, co oznacza, że przepływ prawdopodobieństwa z i do j dokładnie odpowiada przepływowi z powrotem z j do i. Takie łańcuchy nazywane są odwracalne i ich stacjonarne rozkład może często być zapisane w zamkniętej postaci bez wykonywania żadnych obliczeń dotyczących wektorów własnych – to klucz do samplowania opartego na markowskich łańcuchach Monte Carlo. Większość rzeczywistych łańcuchów, w tym model internetowy surfera używany przez PageRank, nie jest odwracalna; nadal mają one dobrze zdefiniowany rozkład stacjonarny, ale ten rozkład nie ma żadnego skróconego wzoru.

Dwa predefiniowane ustawienia, dwie fundamentalne różnice

Preset PageRank modeluje przeglądającego internetu losowo klikającego linki, z małą prawdopodobieństwem tłumieniącą (damping factor) skoku na dowolną stronę w sposób losowy — ten termin teleportacji nie jest zbędny, on gwarantuje, że graf linków (który sam w sobie może mieć martwe końce lub odizolowane klastry) staje się nieregularny i okresowy, co pozwala na istnienie unikalnej rozkładu stacjonarnego. W przeciwieństwie do tego, model Gamblera’s Ruin nie jest celowo ergodic; posiada dwie absorpcyjne stany (bankructwo lub dotarcie do celu), każdy z prawdopodobieństwem samorozłącznym równym 1, co powoduje, że masa prawdopodobieństwa wypływa do nich zamiast krążyć w nieskończoność — interesujące pytanie tutaj nie jest rozkład stacjonarny, a prawdopodobieństwo zakończenia się w jednym z tych stanów absorpcyjnych versus drugim.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Markov Chain i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.