Wykrywanie atypowych zjawisk w serii czasowej wydarzeń konfliktowych za pomocą Isolation Forest

Dlaczego dane dotyczące konfliktów są dobrym pasmem do wykrywania anomalii

Otwarte zestawy danych, które katalogizują dyskretnych zdarzeń rzeczywistego świata — incydentów w konflikcie armijnym, protestów, ruchów lotniczych, położenia statków lub menedżerów wiadomości — mają wspólną statystyczną formę. Największość lokalizacji i okresów czasowych pokazuje niski, prawie stały podstawowy poziom aktywności, przerwany rzadko i krótkotrwałymi szpicami. Ta forma jest dokładnie tym, czym algorytmy niezakwalifikowane do wykrywania anomalii są zaprojektowane: nie potrzebują przykładów etykietowanych „anomaliowych” zdarzeń wcześniej, tylko modelu tego, jak wygląda „normalna” gęstość i grupowanie, na podstawie danych naukowo uczonego.

Projekt Lokalizacji i Zdarzeń Konfliktowych (ACLED) jest szeroko używanym przykładem takiego typu zestawu danych. Rejestruje pojedyncze zdarzenia — geokodowane do konkretnego miejsca i daty, etykietowane typem zdarzenia (bojowe starcia, protesty, przestępstwa przeciwko obywatelom itp.), polem aktywisty, a często szacunkiem liczby ofiar. Strukturyzowanie analizy wokół takiej tabeli — jedna linia na zdarzenie, z kolumnami numerycznymi, kategorialnymi i przestrzennymi — pozwala prosto zaprojektować cechy takie jak „liczba zdarzeń na region dziennie” lub „liczba zdarzeń 7-dniowa średnia”, które wchodzą do modelu wykrywania.

Jak rzeczywiście działa Isolation Forest

Isolation Forest, wprowadzona przez Liu, Ting i Zhou w 2008 roku, podjęła inny podejście do wykrywania ataków na obiekty niż metody oparte na odległości lub gęstości, takie jak k-nearest-neighbours czy lokalny czynnik ataku. Zamiast modelować, co wygląda normalne punkty, próbuje izolować pojedyncze punkty poprzez rekurencyjne losowe podziałowanie: powtarza ono wybranie losowego cechy i wartości rozdzielania w zakresie tej cechy, dzieląc dane na dwie grupy, a następnie powtarza to rekurencyjnie, aż każdy punkt znajdzie się w własnym podzbiorze.

Kluczowym odkryciem jest to, że anomalie — punkty rzadko występujące lub oddalone od większości danych — tendują do izolowania się w bardzo małym liczbę podziałów, ponieważ losowe podziały są prawdopodobnie takie, że oddzielają je od reszty dawno. Normalne punkty, skupione gęsto w gęstych regionach, wymagają znacznie więcej podziałów przed tym, aby znaleźć się sami. Algorytm buduje zespół tych losowych drzew ("isolation forest") i średniego długości ścieżki potrzebnej do izolacji każdego punktu po wszystkich drzewach. Krótkie średnie długości ścieżek przekształcają się w wysokie wartości anomalii.

To sprawia, że Isolation Forest jest obliczeniowo ekonomiczna — około liniowa względem liczby punktów — i skaliuje się dobrze do typowych tabel z tysiącami wierszy dziennych wydarzeń, które akumuluje pływaki monitorujące konflikty lub śledzą lotnictwo w czasie, bez potrzeby obliczania odległości między każdą obserwacją.

Konwersja niewymyślonych zdarzeń na tabelę cech

Razem z detekcją ataków nie jest często wykorzystywany bezpośredni dostęp do logów zdarzeń. Pierwszym krokiem inżynierskim jest zwykle agregacja: zdarzenia są grupowane w ustalone okna (dzień lub tydzień) na podstawie regionu, a następnie dla każdego okna obliczane są liczba numerycznych cech — całkowita liczba zdarzeń, liczba podzielona według typu zdarzenia, średnia ruchoma i odchylenie standardowe z poprzednich N okien oraz procentowa zmiana dnia na dzień. Popularnym parametrem konfiguracyjnym jest contaminacja, oczekiwana proporcja zbioru danych, która jest atykalna; ustawienie go na 0.1 powoduje, że model traktuje około najbardziej izolowanych 10% punktów jako wykrywane wartości odstające, co w turze ustala próg decyzyjny dla wyniku ataków.

Dzięki temu liczby zdarzeń są bardzo prawoskalowane (mamle dni spokojne, rzadkie ekstremalne wzrosty), często transformujemy logarytmicznie cechy liczbowe przed dopasowaniem modelu. Obliczanie cech na podstawie regionu zamiast łączenia całego zbioru danych sprawia, że skok, który byłby niewymagany w historycznie aktywnym regionie, może być silnym atakiem w tym, który jest zwykle spokojny. Takie lokalne normalizowanie względem regionu jest jednym z najważniejszych wyborów projektowych całościowej procedury; globalny próg stosowany równomiernie na bardzo różnorodnych podstawach tendencji może albo pomijać istotne lokalne ataki, albo zagłuszać fałszywe pozytywy z naturalnie aktywnych obszarów.

PyOD: zestaw narzędzia wspólny dla detekcji wykrywania ataków

PyOD to biblioteka Pythonowa, która oferuje zgodny interfejs podobny do skojarzeń scikit-learn (fit, predict, decision_function) na kilkaset algorytmów detekcji wykrywania ataków. Obejmuje ona metody statystyczne klasyka, takie jak Z-score i Elliptic Envelope, metody oparte na bliskości, takie jak Local Outlier Factor i k-NN, a także ensemblesowe metody, takie jak Isolation Forest oraz nowoczesne podejścia bazujące na autoenkodercyjnych architekturach sieci neuronowych. Posiadanie wspólnego interfejsu sprawia, że jest praktyczne wykonywanie wielu detektorów nad tym samym zestawem cech i porównywanie ich wyników, zamiast zobowiązywać się do założeń jednego algorytmu.

To ważne, ponieważ różne detektorzy są czułe na różne rodzaje anomalii. Isolation Forest jest dobrym wykrywaczem wyjatkowych globalnych punktów — tych, które są ekstremalne w stosunku do całego zestawu danych. Local Outlier Factor jest bardziej odpowiedni dla lokalnych anomalii, gdzie punkt jest niezwykły tylko w stosunku do jego bezpośredniego otoczenia, nawet jeśli globalnie by nie zaszczycał uwagi. W zestawie danych geospatialnych zdarzeń to rozróżnienie naturalnie przypada na "niespodziewany spadek krajobrazu" w stosunku do "niezwykłego skupiska w jednym małym obszarze, który nadal jest niewielki w absolutnych krajowych wyżynach". Wykonanie obu metod i porównanie punktów oznaczonych jako anomalie stanowi standardowy sprawdzający zrozumienie przed traktowaniem dowolnej jednokrotnych ocen jako prawdziwej prawdy.

Od anomalijnego punktu do czegoś, co może przeprowadzić ludzka ocena

Punkty anomalijne w samym sobie nie są wnioskiem — to sygnał priorytetu. Odporne podejście traktuje wyjście modelu jako sposób na triage ogromnej strumieni zdarzeń do krótkiej listy, która zasługuje na uwagę analisty ludzkiego, a nie jako automatyczny odsędzenie. Dobry pratyk obejmuje zapisanie konkretnych cech, które wpłynęły na wysoki punkt (czy to było liczba oryginalna, stopniowana szybkość zmian lub niezwykła kombinacja typów zdarzeń?), utrzymanie łączenia podstawowych rekordów zdarzeń z każdym oznaczonym oknem, tak aby analiza mogłaby dążyć do źródłowych wierszy, oraz śledzenie stopnia fałszywych dodatków w czasie, aby parametr kontaminacji i zestaw cech mogły być dostosowywane.

Warto również być jasnym co do tego, co może i nie może powiedzieć detekcja statystyczna anomalii. Wysoki punkt anomalijny oznacza „ten wzór jest statystycznie atypowy w porównaniu z ostatnią historią w tym zestawie danych”, nic więcej. Nie ustanawia sam w sobie przyczyny, powagi ani wiarygodności podstawowego raportowania — otwarte zestawy zdarzeń agregują raporty z wielu źródeł sekundarnych z różnymi zakresami i opóźnieniami, więc skok może odzwierciedlać rzeczywistą zmianę w zdarzeniach, zmianę gęstości raportowania lub artefakt zbierania danych. Traktowanie modelu jako filtra, który przekształca interesujące okna czasowe na bliższe, źródłowe badanie, jest odpowiednim ujęciem.

Skłamanie sygnałów czasowych i geospatialnych

Dzięki temu, że każda zdarzenie zawiera parę współrzędnych geograficznych oraz timestamp, detekcja ataków może być rozszerzona na wymiar przestrzenny wykorzystując techniki klasterowania, takie jak DBSCAN (density-based spatial clustering), które grupują zdarzenia bliskie w czasie i przestrzeni do klastrow, a jednocześnie etykietują rzadkie, izolowane punkty jako szum. Połączenie map gęstości klastrów z sygnałem anomaliowy czasowego daje bardziej kompleksowe obraz niż każdy z tych sygnałów samodzielnie: skupienie w czasie koncentrowane w pojedynczym, gęstym obszarze geograficznym czyta się inaczej niż to samo agregowane skupienie rozproszone szeroko poziomo, nawet jeśli tabela cech oparta na liczbach mogłaby ocenić oba przypadki równie.

Często zadawane pytania