⚖️ Prédicteur d'issue de dossier juridique — Random Forest en direct

Un seul arbre de décision divise récursivement les données d'entraînement en utilisant la caractéristique et le seuil qui réduisent le plus l'impureté de classe (mesurée ici par l'impureté de Gini) à chaque nœud, jusqu'à une profondeur maximale. Une random forest entraîne indépendamment de nombreux arbres de ce type, chacun sur son propre sous-échantillon bootstrap de l'ensemble d'entraînement (échantillonnage avec remise) et, à chaque division, en ne considérant qu'un sous-ensemble aléatoire des caractéristiques disponibles plutôt que toutes. Moyenner les votes de nombreux arbres décorrélés réduit la variance du surapprentissage de chaque arbre pris isolément, ce qui explique pourquoi les forêts généralisent généralement mieux qu'un seul arbre profond entraîné sur toutes les données.

Comme chaque arbre est entraîné sur un sous-échantillon bootstrap, environ un tiers des cas d'entraînement sont laissés de côté par l'échantillon d'un arbre donné — ses cas « out-of-bag » (OOB). Pour chaque cas d'entraînement, cette simulation collecte le vote majoritaire uniquement des arbres qui N'ont PAS vu ce cas pendant l'entraînement, puis compare cette prédiction out-of-bag à la véritable étiquette. Comme aucun arbre ne vote jamais sur un cas sur lequel il a été entraîné, l'exactitude OOB se comporte comme un test de validation honnête intégré — semblable en esprit à la validation croisée mais calculée gratuitement à partir de la procédure de bagging elle-même.

Chaque arbre ne voit jamais qu'un sous-échantillon bootstrap des données d'entraînement et un ensemble aléatoirement restreint de caractéristiques candidates à chaque division, si bien que différents arbres finissent par apprendre des vues partielles différentes et imparfaites du même motif sous-jacent. Sur les dossiers limites — où précédent, preuve et complexité s'équilibrent à peu près — les arbres peuvent légitimement se retrouver de part et d'autre de la frontière de décision qu'ils ont chacun découverte séparément. Cette dispersion d'opinions est exactement ce que quantifie la statistique de « taux d'accord des arbres » : un accord élevé signifie que la forêt est confiante, un faible accord signale un dossier réellement contesté.

Non. Les dossiers d'entraînement sont synthétiques : chacun est généré à partir d'une règle simplifiée et explicitement codée qui combine force simulée du précédent, force de la preuve, juridiction et complexité du dossier en une probabilité de victoire, plus un bruit aléatoire, et l'étiquette est ensuite tirée de cette probabilité. Le but de la simulation est de rendre visibles et manipulables les mécanismes de la classification random forest — échantillonnage bootstrap, division basée sur Gini, vote par arbre, validation out-of-bag — pas de modéliser de véritables tribunaux ou une véritable jurisprudence.

Des arbres plus profonds peuvent découper l'espace des caractéristiques en régions plus petites et plus spécifiques, ce qui améliore généralement l'ajustement sur l'échantillon bootstrap exact que chaque arbre a vu mais augmente aussi le risque qu'un arbre donné surapprenne le bruit ; une random forest tolère cela car elle moyenne de nombreux arbres de ce type. Moins d'arbres rendent l'ensemble plus rapide à réentraîner mais plus bruité et moins stable — la probabilité d'ensemble et l'estimation d'exactitude out-of-bag fluctueront davantage entre réentraînements car il y a moins de votes indépendants à moyenner.