💳 Prédicteur de défaut de prêt — Arbres à gradient boosté en direct

Le gradient boosting construit un modèle prédictif puissant comme une somme de nombreux modèles faibles, généralement des arbres de décision peu profonds, ajoutés un à la fois. Au lieu que chaque arbre essaie de prédire directement l'étiquette, chaque nouvel arbre est entraîné à ajuster les erreurs (erreurs résiduelles) laissées par l'ensemble construit jusque-là. La contribution de chaque arbre est réduite par un taux d'apprentissage avant d'être ajoutée, de sorte que l'ensemble s'améliore progressivement et ne surajuste pas aux particularités d'un seul arbre.

Le modèle maintient un score de log-cotes courant F(x) pour chaque emprunteur. À chaque cycle, il calcule le gradient négatif de la log-loss par rapport à F, qui pour la perte logistique se résume simplement à y − p, la différence entre l'étiquette réelle (0 ou 1) et la probabilité prédite actuelle p = sigmoïde(F(x)). Un arbre de régression peu profond est ajusté à ces résidus, et la valeur de sortie de chaque feuille est affinée par une étape de Newton-Raphson utilisant la somme des résidus de la feuille divisée par sa somme de p(1−p), qui approxime la dérivée seconde de la perte. Les prédictions de l'arbre, mises à l'échelle par le taux d'apprentissage, sont ensuite ajoutées à F pour chaque emprunteur, et le cycle se répète.

À chaque nœud, l'algorithme parcourt chaque caractéristique candidate (revenu, longueur de l'historique de crédit, ratio dette/revenu, taux d'utilisation du crédit, retards de paiement récents, ancienneté professionnelle) et chaque seuil possible entre valeurs triées adjacentes, en calculant de combien la division réduirait l'erreur quadratique totale des résidus dans ce nœud par rapport à ne pas le diviser. La division offrant la plus grande réduction d'erreur (sous réserve d'une contrainte de nombre minimal d'échantillons par feuille) est choisie, et le processus se répète récursivement dans les nœuds enfants résultants jusqu'à atteindre la profondeur maximale de l'arbre.

Chaque nouvel arbre est ajusté spécifiquement pour réduire l'erreur résiduelle sur l'ensemble d'entraînement, donc la log-loss d'entraînement diminue de façon presque monotone à mesure que des arbres sont ajoutés. L'ensemble de validation n'a jamais été utilisé pour ajuster un arbre, donc sa perte ne s'améliore que tant que les motifs appris par les arbres se généralisent réellement. Une fois que l'ensemble commence à ajuster du bruit spécifique aux emprunteurs d'entraînement plutôt que la véritable relation de risque de défaut, la perte de validation cesse de s'améliorer ou remonte progressivement — cet écart est la signature classique du surajustement, et c'est exactement pourquoi le nombre de cycles de boosting, la profondeur des arbres et le taux d'apprentissage sont réglés par rapport à un ensemble de validation distinct plutôt qu'à l'ensemble d'entraînement lui-même.

Le taux d'apprentissage réduit la part de la correction ajustée de chaque nouvel arbre qui est réellement ajoutée à la prédiction courante. Un petit taux d'apprentissage (par ex. 0,05) signifie que de nombreux arbres sont nécessaires pour atteindre un bon ajustement, mais chacun ne pousse le modèle que légèrement, ce qui tend à mieux se généraliser et réduit le risque qu'un seul arbre bruité ne dévie l'ensemble. Un grand taux d'apprentissage (proche de 1,0) permet au modèle d'ajuster les données d'entraînement très rapidement, souvent en une poignée de cycles, mais il est bien plus sujet au dépassement et au surajustement.

Un seul arbre profond peut mémoriser l'ensemble d'entraînement presque parfaitement en le découpant en petites régions homogènes, ce qui se généralise mal. Le gradient boosting utilise à la place de nombreux arbres peu profonds, à biais élevé et à faible variance (souvent appelés « stumps » à profondeur 1) et laisse le processus de boosting lui-même fournir la complexité, une petite correction à la fois. Sommé sur des dizaines ou des centaines de cycles de boosting, l'ensemble peut représenter des interactions de caractéristiques très complexes tandis que chaque arbre individuel reste simple et résistant au surajustement.

Une forêt aléatoire construit de nombreux arbres profonds indépendamment et en parallèle sur des échantillons bootstrappés des données, puis moyenne leurs prédictions — cela réduit la variance (le bruit) mais chaque arbre est entraîné sans connaissance des erreurs des autres. Le gradient boosting construit les arbres séquentiellement, et chaque nouvel arbre est explicitement entraîné pour corriger les erreurs spécifiques que fait l'ensemble actuel. Cette correction d'erreur séquentielle permet au boosting d'atteindre souvent un biais plus faible et une précision plus élevée qu'une forêt de taille comparable, au prix d'une plus grande sensibilité au taux d'apprentissage et au nombre de cycles.

Le générateur d'emprunteurs synthétiques intègre des relations réalistes utilisées par les véritables modèles de risque de crédit : un revenu plus élevé et une plus longue ancienneté professionnelle réduisent le risque de défaut, tandis qu'un ratio dette/revenu plus élevé, un taux d'utilisation du crédit plus élevé, et davantage de retards de paiement au cours des deux dernières années l'augmentent ; un historique de crédit plus long réduit aussi modestement le risque. Ces relations sont combinées en une véritable log-cote de défaut plus un bruit aléatoire irréductible, puis un tirage à pile ou face pondéré par cette probabilité génère l'étiquette de défaut observée — donc même un modèle parfait ne peut atteindre une perte nulle, exactement comme dans les données réelles de prêt.

L'AUC (aire sous la courbe ROC) mesure à quel point le modèle classe les emprunteurs qui ont réellement fait défaut au-dessus de ceux qui ne l'ont pas fait, indépendamment de tout seuil de probabilité particulier. Un AUC de 0,5 signifie que le modèle classe les paires pas mieux qu'un tirage à pile ou face ; un AUC de 1,0 signifie que chaque défaillant est classé au-dessus de chaque non-défaillant. Il est calculé ici directement à partir de sa définition basée sur le rang : pour chaque paire défaillant/non-défaillant de l'ensemble de validation, on compte si le défaillant a reçu une probabilité prédite plus élevée, et on fait la moyenne sur toutes les paires.