AI Eksplicytowy: Otwieranie Czarnej Całki Rzędów Modeli

Dlaczego poprawna przewidywania nie jest taka sama jak zaufane

Model, który odmawia kredytu, flaguje powrot do podatków na inspekcję lub poleca przeciwko zwolnieniu parole, może być statystycznie doskonały i nadal być operacyjnie niewyużywalny, jeśli nikt — ani osoba prosiąca o kredyt, ani oficer sprawdzający zgodność z podatkami, ani inżynier naprawiający regresję — nie może powiedzieć, dlaczego model wygenerował ten konkretny wynik dla tego konkretnego przypadku. To jest wada, którą próbuje zasłonić inteligentna przekazalność (XAI). Warto być precyzyjnym w odniesieniu do tego, co oznacza „przeciwstawanie się”, ponieważ termin ten obejmuje przynajmniej dwie różne cele, często zmiane: globalną interpretowalność (rozumienie, co model nauczył w ogólności, poza całą przestrzenią wejściową) i lokalną interpretowalność (rozumienie, dlaczego model podjął tę konkretną decyzję dla tego konkretnego wejścia). Model kredytowy może być globalnie dominowany przez dochód i stosunek długów do dochodu, ale dla jednego odrzuconego kandydata decyzyjnym czynnikiem mogło być niedopłacone opłata w ostatnim okresie, która barely ruchy globalnej rangi ważności cech. Debugowanie, inspekcja i zgodność z prawami indywidualnych (najczęściej cytowany prawny motyw EU GDPR „prawa do wyjaśnienia”) prawie zawsze wymagają wersji lokalnej.

Praktyczne konsekwencje poprawnego przekazania się stały się widoczne na oślepiająco jasno w narzędzie COMPAS Chicago i odwołanym modelu oceny profilaktycznego Amazon, obie przypadki, w których statystyczna dokładność modelu wyglądała przyzwoitnie, ale analiza po fakcie wykazała systematyczne błędy związane z chronionymi cechami, które nikt nie zauważył podczas rozwoju, ponieważ brakowało metody do pytania modelu „dlaczego postanowiłeś to?” w przypadku konkretnym. Przeciwstawanie się, mówiąc inaczej, nie jest tylko przyjemnością, której wymaga przejrzystość; często to jedyna praktyczna metoda do złapania pewnego typu błędu — modelu, który jest prawidłowy na średnim poziomie i narażony na systematycznie szkodliwy wzór.

Atrybutowanie cech: SHAP i LIME

Dwa główne techniki wyjaśniania po faktu, LIME (Local Interpretable Model-agnostic Explanations) i SHAP (SHapley Additive exPlanacje), rozwiązywane są problem explainacji lokalnej na różne sposoby. Rozumienie różnice między nimi jest kluczowe dla wyboru między nimi. LIME działa poprzez perturbację: wokół konkretnej wejścia, które ma być wyjaśnione, generuje on losową cloudę próbek sztucznych (dla danych tabelarycznych — drgań wartości cech; dla tekstu — usuwanie słów; dla obrazów — zasłaniając superpixeli), otrzymując predykcje modelu niejasnego na każdym z tych próbek. Następnie dopasowuje on do tego lokalnego otoczenia predykcji prosty, interpretowalny model — zwykle regresję liniową rzadką. Współczynniki tego lokalnego modelu liniowego stają się wyjaśnienie: „w pobliżu tego konkretnego kandydata dochód przyczynił się +0,3 do oceny zatwierdzenia a niedopłacenie w ostatnim okresie przyczyniło się -0,5.” LIME jest szybki i model-agnostyczny, ale jego wyjaśnienia są tylko tak stabilne jak próbkowanie otoczenia; uruchom go dwukrotnie z różnymi losowymi perturbacjami, a otrzymasz znacznie różne przypisywania dla tej samej predykcji, co jest prawdziwą słabością w sytuacjach decyzyjnych wysokiego ryzyka.

SHAP (SHapley Additive exPlanacje) bierze bardziej formalny tok, korzystając z teorii gier kooperatywnych. Traktuje on każdu cechę jako „gracza” przyczyniającego się do „wyplaty” (predykcji), a następnie oblicza wartości Shapley — średniego przystosowania marginalnego w każdym możliwym porządku, w którym cechy mogą być „dodawane” do podstawowej predykcji. To gwarantuje zestaw pożądanych właściwości matematycznych, których LIME nie ma: przypisywania dla wszystkich cech sumują dokładnie różnicę między predykcją modelu a średnim podstawowym predykcjami (lokalna dokładność), a cecha, która nigdy nie wpływa na wynik, otrzymuje dokładnie zero punktów (brak danych). Kosztem jest obliczeniowe: dokładne wartości Shapley wymagają oceny modelu na wykładnikowej liczbie podzbiorów cech, dlatego praktyczne implementacje używają przybliżeń — TreeSHAP wykorzystuje strukturę wewnętrzną drzew gradientowych do szybkiego obliczenia prawie dokładnego, podczas gdy KernelSHAP opiera się na podejściu typowym dla LIME dla dowolnych modeli, zastępując niektóre teoretyczne gwarancje w celu osiągnięcia przystępnego obliczeniowego rozwiązania w głębokich sieciach neuronowych.

Modely wnikliwe do zrozumienia: inna droga

Post-hoc wyjaśnienie nie jest jedyną strategią, a dla niektórych problemów nawet jest błędem. Alternatywą jest ograniczenie klasy modelu do czegoś, co można czytać bezpośrednio: drzewo decyzyjne o niskiej głębokości, liniową lub logistyczną regresję z małym liczbą cech, model dodatkowy generalizowany (MAG), który sumuje niezależne krzywe dla każdej cechy, czy lista zasad. Znaczna argumentacja Cynthia Rudin w tej dziedzinie brzmi taka, że dla decyzji o wysokiej stanie ryzyka, szukanie czarnej skrzynki i potem jej wyjaśnienia po faktu jest często niepotrzebne i czasem nawet zagrożone, ponieważ post-hoc wyjaśnienie to model modelu — przybliżenie, które może być niewierne dokładnie w tych przypadkach, które najbardziej zaniepokoją, podczas gdy „wyjaśnienie” modelu wnikliwego do zrozumienia jest prosto tym, co obliczył, bez żadnego przeskoku w przybliżeniu. Praca jej zespołu powtarzająca dokładność predykcji recydyw kompasowych za pomocą krótkiej listy zasad czytelnej dla człowieka to klasyczne demontazowanie tego faktu, że czarna skrzynka często nie kupiła żadnej dodatkowej dokładności w ogóle.

To powiedziawszy, modely wnikliwe do zrozumienia są rzeczywistą ograniczeniem, a nie darmowym obiadem: MAG nie może pokryć skomplikowanych interakcji cech tak jak drzewo boostowane gradientem lub sieć neuronowa, a dla problemów, w których prawdziwa podstawowa relacja jest rzeczywiście wielowymiarowa i nieaddytywna — rozpoznawanie obrazów, mowy, wiele zadań językowych naturalnych — wymuszenie modelu na intrygującej formie może kosztować rzeczywistą dokładność. Pragmatyczne rozwiązanie, do którego przystosowuje się większość praktyków, brzmi: spróbuj najpierw model wnikliwy do zrozumienia, pomiar przeskoku w dokładności względem najlepszego czarnej skrzynki na danych wyznaczonych do walidacji, a dopiero po tym, gdy ten przeskok jest wystarczająco duży, aby uzasadnić dodatkową złożoność (oraz obciążenie wyjaśnienia po faktu, które to wiąże) dla konkretnego podejmowanego decyzji, przyjmij tę złożoność.

Rozwiązanie problemu jest rzeczywiste, ale nie jest ono uniwersalne

Stało się zrozumiałym, że wyjaśnialność i dokładność są w konflikcie, a szczery odpowiedź brzmi: czasami znacząco, czasami niemal niewiele, zależnie od struktury podstawowego problemu. W wielu dobrze badanych zestawach danych tabularnych — ocena ryzyka finansowego, oceny ryzyka medycznego, powtarzanie się przestępstw — okazuje się, że różnica w dokładności między dokładnie dostosowanym modelem wyjaśnialnym a najlepszym modeliem czarnebox jest mała, często w zakresie jednego lub dwóch procent AUC, ponieważ prawdziwy sygnał w danych jest bliski dodawania i niskowymiarowy, nawet jeśli na pierwszy rzut oka wydaje się skomplikowany. W problemach z autentycznymi interakcjami wysokiego rzędu, gęstymi niestrukturyzowanymi wejściami lub bardzo dużymi przestrzeniami cech — detekcja fałszywych transakcji z tysiącami cech wygenerowanych ręcznie, klasfikacja obrazów, modelowanie języka — różnica może być duży i modele wyjaśnialne mogą źle się przewartościować, co jest dokładnie powodem, dla którego prawie żaden serio produkcyjny system wizji komputerowej ani NLP dzisiaj nie jest drzewem decyzyjnym.

Praktyczna implikacja dla zespołu wybierającego między oba podejścia polega na traktowaniu konfliktu jako pytania empirycznego do pomiaru na własnych danych i decyzji, a nie założonego regulaminu. Drugim czynnikiem, często niedostarczonym odpowiednim wadze, jest dla jakiego celu jest wyjaśnienie: jeśli celem jest zgodność regulacyjna dla osobnika zgłoszonego, post-hoc wyjaśnienie lojalne SHAP może być wystarczająco dobre nawet na topie modelu czarnebox. Jeśli cel polega na tym, aby ekspert domeny auditował i zaufał ogólnemu rozumowaniu modelu przed wdrożeniem, model z naturą wyjaśnialny, którego „wyjaśnienie” nie zawiera żadnego ryzyka przybliżenia, jest zwykle bezpieczniejszym wyborem, dokładnie dlatego, że nawet bardzo lojalne post-hoc wyjaśnienia w czarnej kopce to nadal przybliżenie i mogą prowokować błędy na granicach przypadków, które próba próbek perturbacji nie pokryła dobrze.

Często zadawane pytania