💳 Kreditausfall-Vorhersage — Gradient Boosted Trees live

Gradient Boosting baut ein starkes Vorhersagemodell als Summe vieler schwacher Modelle, meist flacher Entscheidungsbäume, die einzeln hinzugefügt werden. Statt dass jeder Baum versucht, das Label direkt vorherzusagen, wird jeder neue Baum darauf trainiert, die Fehler (Residualfehler) auszugleichen, die das bisher aufgebaute Ensemble hinterlassen hat. Der Beitrag jedes Baums wird vor der Addition durch eine Lernrate herunterskaliert, sodass sich das Ensemble allmählich verbessert und sich nicht an die Eigenheiten eines einzelnen Baums überanpasst.

Das Modell führt für jeden Kreditnehmer einen laufenden Log-Odds-Score F(x). In jeder Runde berechnet es den negativen Gradienten des Log-Loss bezüglich F, was bei logistischem Verlust einfach y − p ergibt, die Differenz zwischen dem wahren Label (0 oder 1) und der aktuell vorhergesagten Wahrscheinlichkeit p = sigmoid(F(x)). Ein flacher Regressionsbaum wird an diese Residuen angepasst, und der Ausgabewert jedes Blatts wird mit einem Newton-Raphson-Schritt verfeinert, unter Verwendung der Residuensumme des Blatts geteilt durch die Summe von p(1−p), was die zweite Ableitung des Verlusts approximiert. Die skalierten Vorhersagen des Baums werden dann für jeden Kreditnehmer zu F addiert, und der Zyklus wiederholt sich.

An jedem Knoten scannt der Algorithmus jedes Kandidatenmerkmal (Einkommen, Länge der Kredithistorie, Verschuldungsgrad, Kreditauslastung, kürzliche verspätete Zahlungen, Beschäftigungsdauer) und jeden möglichen Schwellenwert zwischen benachbarten sortierten Werten und berechnet, wie stark der Split den gesamten quadratischen Fehler der Residuen in diesem Knoten im Vergleich zum Nicht-Splitten reduzieren würde. Der Split mit der größten Fehlerreduktion (vorbehaltlich einer Mindestanzahl von Beispielen pro Blatt) wird gewählt, und der Prozess wiederholt sich rekursiv in den entstehenden Kindknoten, bis die maximale Baumtiefe erreicht ist.

Jeder neue Baum wird speziell darauf trainiert, den Residualfehler auf dem Trainingssatz zu reduzieren, sodass der Trainings-Log-Loss mit hinzugefügten Bäumen fast monoton sinkt. Der Validierungssatz wurde nie zum Anpassen eines Baums verwendet, sodass sich sein Verlust nur verbessert, solange die von den Bäumen gelernten Muster tatsächlich verallgemeinern. Sobald das Ensemble beginnt, für die Trainingskreditnehmer spezifisches Rauschen statt der wahren Ausfallrisikobeziehung anzupassen, hört der Validierungsverlust auf, sich zu verbessern, oder kriecht wieder nach oben — diese Lücke ist die klassische Signatur von Überanpassung, und genau deshalb werden Rundenanzahl, Baumtiefe und Lernrate anhand eines Held-out-Validierungssatzes abgestimmt und nicht anhand des Trainingssatzes selbst.

Die Lernrate skaliert herunter, wie viel von der angepassten Korrektur jedes neuen Baums tatsächlich zur laufenden Vorhersage addiert wird. Eine kleine Lernrate (z. B. 0,05) bedeutet, dass viele Bäume nötig sind, um eine gute Anpassung zu erreichen, aber jeder stößt das Modell nur leicht an, was tendenziell besser verallgemeinert und das Risiko verringert, dass ein einzelner verrauschter Baum das Ensemble aus der Bahn wirft. Eine große Lernrate (nahe 1,0) lässt das Modell die Trainingsdaten sehr schnell anpassen, oft in nur einer Handvoll Runden, neigt aber weit stärker zu Überschwingen und Überanpassung.

Ein einzelner tiefer Baum kann den Trainingssatz fast perfekt auswendig lernen, indem er ihn in winzige, homogene Regionen zerlegt, was schlecht verallgemeinert. Gradient Boosting verwendet stattdessen viele flache Bäume mit hoher Verzerrung und geringer Varianz (bei Tiefe 1 oft „Stumps“ genannt) und lässt den Boosting-Prozess selbst die Komplexität liefern, eine kleine Korrektur nach der anderen. Über Dutzende oder Hunderte von Boosting-Runden summiert, kann das Ensemble sehr komplexe Merkmalsinteraktionen darstellen, während jeder einzelne Baum einfach und resistent gegen Überanpassung bleibt.

Ein Random Forest baut viele tiefe Bäume unabhängig und parallel auf Bootstrap-Stichproben der Daten und mittelt dann ihre Vorhersagen — das reduziert die Varianz (Rauschen), aber jeder Baum wird ohne Kenntnis der Fehler der anderen trainiert. Gradient Boosting baut Bäume sequenziell, und jeder neue Baum wird explizit darauf trainiert, die spezifischen Fehler zu korrigieren, die das aktuelle Ensemble macht. Diese sequenzielle Fehlerkorrektur ermöglicht es Boosting oft, eine niedrigere Verzerrung und höhere Genauigkeit als ein vergleichbar großer Forest zu erreichen, auf Kosten einer höheren Empfindlichkeit gegenüber Lernrate und Rundenanzahl.

Der synthetische Kreditnehmer-Generator baut realistische Beziehungen ein, wie sie auch echte Kreditrisikomodelle verwenden: höheres Einkommen und längere Beschäftigungshistorie senken das Ausfallrisiko, während ein höherer Verschuldungsgrad, höhere Kreditkartenauslastung und mehr verspätete Zahlungen in den letzten zwei Jahren es erhöhen; eine längere Kredithistorie senkt das Risiko ebenfalls leicht. Diese Beziehungen werden zu einem wahren Log-Odds des Ausfalls plus irreduziblem Zufallsrauschen kombiniert, dann erzeugt ein mit dieser Wahrscheinlichkeit gewichteter Münzwurf das beobachtete Ausfall-Label — sodass selbst ein perfektes Modell keinen Verlust von null erreichen kann, genau wie bei echten Kreditdaten.

AUC (Fläche unter der ROC-Kurve) misst, wie gut das Modell tatsächlich ausgefallene Kreditnehmer über nicht ausgefallene einstuft, unabhängig von einem bestimmten Wahrscheinlichkeitsschwellenwert. Ein AUC von 0,5 bedeutet, dass das Modell Paare nicht besser als ein Münzwurf einstuft; ein AUC von 1,0 bedeutet, dass jeder Ausfall über jeden Nicht-Ausfall eingestuft wird. Er wird hier direkt aus seiner rangbasierten Definition berechnet: Für jedes Ausfall-/Nicht-Ausfall-Paar im Validierungssatz wird gezählt, ob der Ausfall eine höhere vorhergesagte Wahrscheinlichkeit erhielt, und über alle Paare gemittelt.