💳 Predictor de Impago de Préstamos — Árboles Potenciados por Gradiente en Vivo

El gradient boosting construye un modelo predictivo robusto como una suma de muchos modelos débiles, normalmente árboles de decisión poco profundos, añadidos uno a la vez. En lugar de que cada árbol intente predecir la etiqueta directamente, cada nuevo árbol se entrena para ajustar los errores (residuos) dejados por el conjunto construido hasta ahora. La contribución de cada árbol se reduce mediante una tasa de aprendizaje antes de añadirse, de modo que el conjunto mejora gradualmente y no se sobreajusta a las particularidades de un solo árbol.

El modelo mantiene una puntuación log-odds acumulada F(x) para cada prestatario. En cada ronda calcula el gradiente negativo del log-loss respecto a F, que para la pérdida logística resulta ser simplemente y − p, la diferencia entre la etiqueta real (0 o 1) y la probabilidad predicha actual p = sigmoide(F(x)). Se ajusta un árbol de regresión poco profundo a estos residuos, y el valor de salida de cada hoja se refina con un paso de Newton-Raphson usando la suma de residuos de la hoja dividida por su suma de p(1−p), que aproxima la segunda derivada de la pérdida. Las predicciones del árbol, escaladas por la tasa de aprendizaje, se añaden luego a F para cada prestatario, y el ciclo se repite.

En cada nodo el algoritmo examina cada característica candidata (ingresos, duración del historial crediticio, ratio deuda-ingresos, utilización del crédito, pagos atrasados recientes, antigüedad laboral) y cada umbral posible entre valores ordenados adyacentes, calculando cuánto reduciría esa división el error cuadrático total de los residuos en ese nodo en comparación con no dividirlo. Se elige la división con la mayor reducción de error (sujeta a una restricción mínima de muestras por hoja), y el proceso se repite recursivamente en los nodos hijos resultantes hasta alcanzar la profundidad máxima del árbol.

Cada nuevo árbol se ajusta específicamente para reducir el error residual en el conjunto de entrenamiento, por lo que el log-loss de entrenamiento disminuye casi monótonamente a medida que se añaden árboles. El conjunto de validación nunca se usó para ajustar ningún árbol, así que su pérdida solo mejora mientras los patrones que aprenden los árboles generalicen genuinamente. Cuando el conjunto empieza a ajustar ruido específico de los prestatarios de entrenamiento en lugar de la relación real de riesgo de impago, la pérdida de validación deja de mejorar o vuelve a subir — esta brecha es la firma clásica del sobreajuste, y es precisamente la razón por la que el número de rondas de refuerzo, la profundidad del árbol y la tasa de aprendizaje se ajustan contra un conjunto de validación reservado y no contra el propio conjunto de entrenamiento.

La tasa de aprendizaje reduce cuánto de la corrección ajustada de cada nuevo árbol se añade realmente a la predicción acumulada. Una tasa de aprendizaje pequeña (p. ej. 0,05) significa que se necesitan muchos árboles para lograr un buen ajuste, pero cada uno solo empuja el modelo ligeramente, lo que tiende a generalizar mejor y reduce el riesgo de que un solo árbol ruidoso desvíe al conjunto. Una tasa de aprendizaje grande (cercana a 1,0) permite que el modelo se ajuste muy rápido a los datos de entrenamiento, a menudo en solo unas pocas rondas, pero es mucho más propensa a sobrepasar el objetivo y sobreajustar.

Un único árbol profundo puede memorizar el conjunto de entrenamiento casi a la perfección, dividiéndolo en regiones diminutas y homogéneas, lo que generaliza mal. El gradient boosting en cambio usa muchos árboles poco profundos, de alto sesgo y baja varianza (a menudo llamados «stumps» en profundidad 1), y deja que el propio proceso de refuerzo aporte la complejidad, una pequeña corrección a la vez. Sumado a lo largo de decenas o cientos de rondas de refuerzo, el conjunto puede representar interacciones de características muy complejas mientras cada árbol individual se mantiene simple y resistente al sobreajuste.

Un random forest construye muchos árboles profundos de forma independiente y en paralelo sobre muestras bootstrap de los datos, y luego promedia sus predicciones — esto reduce la varianza (ruido) pero cada árbol se entrena sin conocimiento de los errores de los demás. El gradient boosting construye árboles de forma secuencial, y cada nuevo árbol se entrena explícitamente para corregir los errores específicos que comete el conjunto actual. Esta corrección secuencial de errores es lo que permite que el boosting a menudo alcance un sesgo menor y mayor precisión que un bosque de tamaño comparable, a costa de ser más sensible a la tasa de aprendizaje y al número de rondas.

El generador sintético de prestatarios incorpora relaciones realistas usadas por modelos reales de riesgo crediticio: unos ingresos más altos y un historial laboral más largo reducen el riesgo de impago, mientras que un ratio deuda-ingresos más alto, una mayor utilización de la tarjeta de crédito y más pagos atrasados en los últimos dos años lo aumentan; un historial crediticio más largo también reduce modestamente el riesgo. Estas relaciones se combinan en un log-odds real de impago más ruido aleatorio irreducible, y luego una moneda ponderada por esa probabilidad genera la etiqueta de impago observada — por lo que ni siquiera un modelo perfecto puede alcanzar una pérdida de cero, exactamente como en los datos reales de préstamos.

El AUC (área bajo la curva ROC) mide qué tan bien el modelo clasifica a los prestatarios que efectivamente incumplieron por encima de los que no lo hicieron, independientemente de cualquier umbral de probabilidad concreto. Un AUC de 0,5 significa que el modelo clasifica los pares sin mejor que lanzar una moneda; un AUC de 1,0 significa que todo moroso queda clasificado por encima de todo no moroso. Aquí se calcula directamente a partir de su definición basada en rangos: para cada par moroso/no moroso en el conjunto de validación, se comprueba si el moroso recibió una probabilidad predicha más alta, y se promedia sobre todos los pares.