Kredytowanie i Wykrywanie Oszustw z Wykorzystaniem Uczenia Maszynowego: Studia Przypadków w Bankowości Detalicznej

Dwa problemy, jeden bank

Duży bank detaliczny z dziesiątkami milionów klientów i dominującą pozycją na lokalnym rynku cyfrowego bankowości miał w roku 2019 dwa odrębne, ale powiązane problemy. Z jednej strony, 12–15% kredytów stawało się niewypłacalnymi (NPL), ręczne zatwierdzanie wniosków zajmowało od jednego do trzech dni – zbyt długo, aby klienci nie przestrzegali i udawali sobie zmianę u konkurencji, a podstawa procesu oceniania opierała się w dużej mierze na subiektywnych osądach pracowników działu kredytowego. Z drugiej strony, roczne straty na oszustwach wynosiły od 6 do 8 milionów dolarów, a oszustwa prawie zawsze wykrywane były po tym, jak pieniądze już zniknęły, ponieważ detekcja opierała się na okresowych ręcznych przeglądach zamiast w czasie rzeczywistym monitoringu.

Te dwa przypadki stanowią najczęstsze zastosowania uczenia maszynowego w bankowości, a doświadczenia tego banku stanowią dobry wzór dla każdego pożyczkodawcy lub firmy płatniczej rozważającej podobne systemy: wartość pochodzi z przeniesienia decyzji ze wolnej i subiektywnej na szybką i spójną, pod warunkiem, że organizacja jest skłonna zainwestować w nadzór, który wiąże się z automatyzacją regulowanego procesu.

Jak działał model kredytowy

Model wczytywał aplikację kredytową i łączył kilka odrębnych grup cech: czynniki standardowego underwritingu (dochód, historia kredytowa, wiek, zawód), sygnały z cyfrowego śladu (częstotliwość aktywności aplikacji, mieszanka kategorii wydatków, rytm transakcji w własnej mobilnej aplikacji banku), wzorce zachowań w momencie składania wniosku (godzina dnia, jak szybko wypełniono formularz) i – co bardziej nietypowo – sygnał z sieci społecznościowej, gdzie silka sieć lojalnych klientów finansowych otaczających wnioskodawcę była traktowana jako umiarkowany pozytywny czynnik.

Model generował wynik w skali 0–1000 plus rekomendację: zatwierdź, odrzucenie lub skieruj do ręcznej weryfikacji. Główną zmianą operacyjną było tempo podejmowania decyzji: zatwierdzenia, które zajmowały od jednego do trzech dni, skurczyły się do około 90 sekund, ponieważ model natychmiastowo mógł zwracać pewne i audytowalne rekomendacje dla większości wniosków, rezerwując ręczną weryfikację dla naprawdę niejasnych przypadków.

Jak działał model wykrywania oszustw

Każda transakcja kartą została oceniona w czasie rzeczywistym na podstawie modelu zachowania "normalnego" klienta: typowe lokalizacje, godzina dnia, kategoria sprzedawcy, wielkość transakcji i częstotliwość transakcji. Gdy transakcja wypadła o wiele dalej niż to wyuczone wzorzec, system mógł automatycznie zablokować kartę i wysłać natychmiastowe potwierdzenie do klienta ("czy to był Pan?"), zamiast czekać na okresową analizę oszustw, która wykryłaby to za kilka dni lub tygodni później.

Zespół technologiczny łączył scikit-learn i XGBoost jako modele podstawowe, platformę strumieniową do w czasie rzeczywistym oceniania transakcji oraz magazyn cech, aby zapewnić spójność cech używanych podczas wnioskowania z tymi używanymi podczas szkolenia — szczegół, który ma ogromne znaczenie w systemach wykrywania oszustw, gdzie niezgodność między cechami używanymi podczas szkolenia a cechami używanymi podczas wnioskowania cicho pogarsza dokładność w sposób trudny do wykrycia, dopóki straty nie wzrosną.

Regulacyjne i etyczne ograniczenia ukształtowane proces budowy

Państwa ograniczenia fundamentalnie wpłynęły na projekt, a oba warto zaplanować z wyprzedzeniem zamiast odkrywać w trakcie budowy.

Wyjaśnialność. Regulator bankowy wymagał, aby odrzucony wnioskodawca został powiadomiony, zasadniczo, dlaczego została mu odmówiona – stwierdzenie „model powiedział nie” jest niewystarczające w kontekście regulowanego udzielania kredytów. Rozwiązaniem banku było obliczanie wartości SHAP (SHapley Additive exPlanations) dla każdego decyzji, które przypisywały prognozę poszczególnym cechom wejściowym i pozwalały bankowi generować czytelne w języku ludzkim podsumowanie czynników najbardziej wpływających na dany wynik. Każda grupa projektowa budująca model oceny ryzyka lub zatwierdzająca kredyty w regulowanym sektorze powinna uwzględnić narzędzia do wyjaśniania jako podstawowy wymóg od samego początku, a nie dodawać je później.

Sprawiedliwość. Model wytrenowany na historycznych wynikach może powielać historyczne uprzedzenia – na przykład dyskryminować pośrednio ze względu na wiek, płeć lub region poprzez zmienne pośredniczące, nawet jeśli te cechy są wykluczone – a bank wprowadził regularne audyty sprawiedliwości i usunął chronione atrybuty oraz bliskie im proxy z zestawu cech. Nawet wtedy musiał ponownie opracować części modelu po tym, jak wewnętrzna kontrola wykazała różne wyniki w zależności od grup demograficznych. Ta ponowna praca jest normalną i oczekiwaną częścią odpowiedzialnego wdrażania modeli oceny ryzyka, a nie dowodem na to, że projekt się nie powiódł.

Adaptacja modeli do nagłych zakłóceń gospodarczych

Okres poważnych, gwałtownych zakłóceń makroekonomicznych – szeroko zakrojone bezrobocie, masowa migracja wewnętrzna oraz nagłe zmiany w typowych wzorcach wydatków – wystawiał oba modele jednocześnie na próbę. Historyczne sygnały zdolności kredytowej stały się tymczasowo niewiarygodne dla dużej grupy klientów, a bank musiał ponownie wytrenować swój model kredytowy, aby uwzględnić to, co wewnętrznie określał jako „czynniki zakłócające”: oddzielna ścieżka oceniania dla klientów wewnętrznie przesiedlonych lub przeniesionych, podwyższone wskaźniki ryzyka dla regionów doświadczających ostrej presji gospodarczej oraz odrębne kryteria produktów dotyczących trudności finansowych lub kredytów tymczasowych.

Wraz z tym zmieniały się wzorce oszustw, a wraz z nimi gwałtowny wzrost prób phishingowych i socjotechnicznych, które wykorzystywały ogólną atmosferę lęku i zakłóceń. Model oszustw musiał zostać ponownie wytrenowany na podstawie tych nowych wzorców ataków szybciej niż jego normalny cykl aktualizacji. Ogólna lekcja uogólnia się dobrze poza sektorem bankowym: każde przedsiębiorstwo, które prowadzi żywy scoring lub wykrywanie anomalii, powinno mieć przetestowany proces szybkiego ponownego trenowania w przypadku nagłego szoku w zakresie popytu lub wzorców ryzyka, zamiast zakładać, że model wytrenowany na „normalnych” danych będzie działał bezproblemowo podczas jednego z nich.

Wyniki i koszty ich osiągnięcia

Porównując rok 2019 (przed wprowadzeniem uczenia maszynowego) z kolejnymi dwoma latami działalności, bank stwierdził:

Budowa wymagała znacznego zespołu, biorąc pod uwagę standardy większości projektów uczenia maszynowego – dwunastu naukowców danych, ośmiu inżynierów ML, czterech specjalistów ds. cyberbezpieczeństwa i dwóch menedżerów produktu – a koszty rozwoju wyniosły kilka milionów dolarów oraz miesięczne koszty utrzymania zespołu w sześciocyfrach. Oczekiwany zwrot z inwestycji wyniósł poniżej trzech miesięcy, napędzany głównie kombinacją zmniejszonych strat kredytowych i mniejszych strat związanych z oszustwami, które przewyższały koszty budowy wielokrotnie w pierwszym roku, choć bank o tej skali powinien być traktowany jako górna granica tego, czego może oczekiwać mniejszy nadawca – zarówno inwestycja, jak i całkowity zakres oszczędności skaluje się wraz z rozmiarem portfela kredytowego.

Wnioski dla innych regulowanych przedsiębiorstw

Trzy wnioski wyróżniają się szczególnie dla każdego przedsiębiorstwa budującego automatyczne procesy decyzyjne w środowisku regulowanym lub o wysokim ryzyku. Po pierwsze, testuj przed skalowaniem: bank przetestował model scoringowy na około 5% wnioskodawców, potwierdził hipotezę i dopiero wtedy wdrożył go w pełni – znacznie bezpieczniejsza ścieżka niż pełna zmiana systemu. Po drugie, wyjaśnialność nie jest opcją w regulowanym kredytowaniu, a jej budowanie od samego początku jest tańsze niż retrofitting po wymuszeniu przez regulatora lub falie skarg klientów. Trzecie, audyty sprawiedliwości muszą być ciągłe, a nie jednorazowa kontrola przed uruchomieniem – doświadczenie banku w konieczności ponownego opracowania modelu po wdrożeniu pokazuje, że uprzedzenia mogą ujawnić się nawet w systemie, który został starannie zweryfikowany przed udostępnieniem.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz the simulation i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.