📊 Decision Tree Live

Pour une division candidate divisant l'ensemble parent S en enfant gauche L et enfant droit R, le gain d'information est ΔGini = Gini(S) − (|L|/|S|) · Gini(L) − (|R|/|S|) · Gini(R). CART évalue chaque point médian entre les valeurs triées consécutives de chaque caractéristique et choisit la paire (caractéristique, seuil) avec le ΔGini maximum. L'importance d'une caractéristique est la somme des réductions de Gini pondérées par le nombre d'échantillons du nœud sur toutes les divisions d'une caractéristique donnée, normalisée pour que toutes les caractéristiques totalisent 1.

Les arbres de décision apparaissent dans le triage médical (par exemple, évaluer le risque de septicémie à partir des signes vitaux), la notation de crédit (probabilité de défaut de prêt), la détection de fraude et la prédiction de l'attrition client. Un seul arbre peu profond est souvent utilisé comme référence interprétable car chaque chemin de décision peut être exprimé en une règle en langage clair telle que « si revenu > 40 000 et ratio d'endettement < 0,3, approuver ». Les arbres plus profonds et les ensembles (forêts aléatoires, XGBoost) échangent cette transparence contre une précision plus élevée sur des jeux de données complexes.

Une idée fausse fréquente est qu'un arbre plus profond est toujours meilleur car il atteint 100 % de précision d'entraînement. En réalité, un arbre non contraint mémorise le bruit des données d'entraînement et généralise mal aux nouveaux échantillons — c'est le surapprentissage. La solution est la régularisation : limiter la profondeur maximale, exiger un nombre minimum d'échantillons par feuille, ou appliquer un élagage par complexité de coût (alpha · |feuilles|) pour pénaliser la complexité. La validation croisée est utilisée pour choisir ces hyperparamètres.

L'algorithme CART a été introduit en 1984 par Leo Breiman, Jerome Friedman, Richard Olshen et Charles Stone dans leur livre « Classification and Regression Trees ». Breiman s'est ensuite appuyé sur CART pour développer le bagging (1996) et les forêts aléatoires (2001), tandis que Friedman l'a étendu au gradient boosting (1999–2001). Ces trois méthodes ont collectivement transformé l'apprentissage automatique sur données tabulaires et restent largement utilisées des décennies plus tard.

Une forêt aléatoire entraîne des centaines d'arbres CART sur des échantillons bootstrap des données, chacun considérant un sous-ensemble aléatoire de caractéristiques à chaque division, puis moyenne leurs prédictions. Cela réduit la variance sans augmenter significativement le biais. Le gradient boosting, au contraire, entraîne les arbres séquentiellement, chacun ajustant les erreurs résiduelles de l'ensemble jusqu'ici, ce qui réduit le biais. Les deux méthodes héritent de l'interprétabilité des divisions individuelles mais sont bien plus précises sur des jeux de données complexes que n'importe quel arbre unique.

Oui — c'est le R dans CART. Pour la régression, chaque feuille prédit la moyenne des valeurs cibles des échantillons qu'elle contient, et les divisions sont choisies pour minimiser la somme des carrés des résidus plutôt que l'impureté de Gini. Le diagramme de l'arbre et la logique de partitionnement récursif sont identiques ; seuls la prédiction de la feuille et le critère de division changent. Cette simulation se concentre sur la classification binaire, mais le même algorithme avec la MSE comme critère produit des arbres de régression utilisés dans les modèles de prix immobiliers et de prévision de la demande.

Les domaines de recherche actifs incluent les arbres de décision différentiables (souples) qui peuvent être entraînés de bout en bout par descente de gradient et intégrés dans des réseaux de neurones, les arbres obliques qui utilisent des combinaisons linéaires de caractéristiques plutôt que des divisions alignées sur les axes pour capturer les frontières diagonales plus efficacement, et les arbres causaux qui estiment les effets de traitement hétérogènes dans des expériences randomisées. La recherche en interprétabilité se concentre aussi sur les méthodes d'explication post-hoc (valeurs SHAP) qui décomposent la prédiction de n'importe quel ensemble d'arbres en contributions par caractéristique.