AccueilScience des Données & StatistiquesExplorateur de Matrice de Confusion et ROC-AUC

🎯 Explorateur de Matrice de Confusion et ROC-AUC

Faites glisser le seuil de décision entre deux distributions de scores qui se chevauchent et observez la matrice de confusion, la courbe ROC, l'AUC et la courbe précision-rappel se mettre à jour en direct.

Science des Données & Statistiques2DModérée60 FPS
confusion-matrix-explorer ↗ Ouvrir en autonome

À propos de l'Explorateur de Matrice de Confusion et ROC-AUC

Un classificateur binaire produit rarement une étiquette directe — il produit un score continu, et c'est le choix du seuil de décision qui transforme ce score en classe prédite. Tout ce qui se trouve au seuil ou au-dessus est appelé « positif » ; tout ce qui est en dessous est appelé « négatif ». Comparer ces prédictions aux étiquettes réelles produit la matrice de confusion : vrais positifs (TP), faux positifs (FP), vrais négatifs (TN) et faux négatifs (FN). Chaque métrique d'évaluation standard — précision, rappel, spécificité, F1 — n'est qu'une combinaison arithmétique de ces quatre nombres, et chacune d'elles change lorsqu'on déplace le seuil.

Ce simulateur génère deux distributions de scores synthétiques qui se chevauchent — une pour la classe réellement négative, une pour la classe réellement positive — et vous permet de faire glisser le seuil entre elles pendant que la matrice de confusion se met à jour en direct. Balayer le seuil de son maximum à son minimum et tracer, à chaque étape, le taux de vrais positifs obtenu par rapport au taux de faux positifs dessine la courbe ROC ; l'aire sous cette courbe (AUC) est un résumé réellement calculé, indépendant du seuil, de la séparabilité des deux classes. Comme l'axe du taux de faux positifs de la ROC est normalisé par le nombre (souvent énorme) de négatifs, elle peut sembler trompeusement bonne sur des données déséquilibrées — c'est exactement pour cette raison que la courbe précision-rappel, normalisée par les positifs prédits, est affichée à ses côtés.

Questions fréquentes

Qu'est-ce qu'une matrice de confusion ?

Une matrice de confusion est un tableau 2×2 qui croise les étiquettes prédites par un classificateur binaire avec les étiquettes réelles : vrais positifs (TP, correctement prédits positifs), faux positifs (FP, prédits positifs mais en réalité négatifs), vrais négatifs (TN, correctement prédits négatifs) et faux négatifs (FN, prédits négatifs mais en réalité positifs). Chaque métrique de précision basée sur un seuil — précision, rappel, F1, spécificité — se calcule directement à partir de ces quatre nombres.

Comment la courbe ROC est-elle construite à partir d'un balayage de seuil ?

La courbe ROC (Receiver Operating Characteristic) se construit en balayant le seuil de décision de sa valeur la plus haute jusqu'à la plus basse, en recalculant la matrice de confusion à chaque étape, puis en traçant le taux de faux positifs obtenu (axe X) par rapport au taux de vrais positifs (axe Y) pour chaque seuil. À un seuil très élevé, presque rien n'est prédit positif, donc les deux taux démarrent près de (0,0) ; à mesure que le seuil descend vers le score minimal, tout devient prédit positif et la courbe se termine en (1,1).

Que mesure réellement l'AUC, et que signifient 0,5 et 1,0 ?

L'AUC est l'aire sous la courbe ROC, équivalente à la probabilité qu'un exemple positif choisi au hasard obtienne un score plus élevé qu'un exemple négatif choisi au hasard. Une AUC de 0,5 signifie que le classificateur ne fait pas mieux qu'un tirage aléatoire (la courbe ROC se confond avec la diagonale) ; une AUC de 1,0 signifie une séparation parfaite — chaque exemple positif obtient un score plus élevé que chaque exemple négatif. Comme elle est calculée en balayant tous les seuils, l'AUC résume la qualité du classificateur indépendamment de tout point de fonctionnement particulier.

Pourquoi les courbes précision-rappel sont-elles plus pertinentes que les courbes ROC pour les jeux de données déséquilibrés ?

Le taux de faux positifs utilisé dans les courbes ROC est normalisé par le nombre de négatifs, qui est énorme dans un jeu de données déséquilibré — donc même un grand nombre de faux positifs peut apparaître comme un FPR minuscule, et l'AUC-ROC reste trompeusement élevée. La précision, utilisée dans la courbe précision-rappel, est quant à elle normalisée par le nombre de prédictions positives, ce qui révèle directement à quelle fréquence une prédiction positive est erronée. Lorsque les positifs sont rares, la courbe précision-rappel donne une image plus honnête de la performance.

Quelle est la différence entre précision et rappel (TPR) ?

Le rappel (aussi appelé taux de vrais positifs ou sensibilité) est TP / (TP + FN) — parmi tous les positifs réels, quelle proportion le classificateur a-t-il détectée. La précision est TP / (TP + FP) — parmi tout ce que le classificateur a signalé comme positif, quelle proportion l'était réellement. Augmenter le seuil de décision augmente généralement la précision (moins de prédictions positives, mais plus fiables) tout en réduisant le rappel (davantage de vrais positifs sont manqués), et inversement.

Qu'est-ce que le score F1 et quand l'utiliser ?

Le F1 est la moyenne harmonique de la précision et du rappel : 2 × précision × rappel / (précision + rappel). Contrairement à une simple moyenne, la moyenne harmonique est fortement tirée vers le bas par la plus petite des deux valeurs, donc le F1 ne reste élevé que si la précision et le rappel sont tous deux raisonnablement élevés. C'est un résumé pratique en un seul nombre, à un seuil donné, lorsque les positifs comptent et qu'aucune des deux métriques ne doit s'effondrer, en particulier sur des données déséquilibrées où l'exactitude brute est trompeuse.

Comment le déplacement du seuil de décision arbitre-t-il entre faux positifs et faux négatifs ?

Augmenter le seuil rend le classificateur plus conservateur : moins d'exemples sont prédits positifs, ce qui réduit les faux positifs mais augmente les faux négatifs. Abaisser le seuil fait l'inverse : plus d'exemples sont prédits positifs, ce qui capture davantage de vrais positifs mais laisse aussi passer plus de faux positifs. Aucun seuil ne minimise les deux simultanément lorsque les deux distributions de scores se chevauchent — le choix dépend de l'erreur la plus coûteuse pour l'application.

Pourquoi la séparation des classes change-t-elle la forme de la courbe ROC ?

La séparation des classes détermine à quel point les scores moyens des distributions positive et négative sont éloignés. Lorsque les distributions se chevauchent à peine, presque n'importe quel seuil sépare nettement les deux classes, si bien que le TPR augmente bien plus vite que le FPR à mesure que le seuil descend, courbant la courbe ROC vers le coin supérieur gauche et poussant l'AUC vers 1,0. Lorsque les distributions se chevauchent fortement, aucun seuil ne les sépare bien, le TPR et le FPR augmentent ensemble, et la courbe s'effondre vers la diagonale, avec une AUC proche de 0,5.

⚙ Sous le capot

Faites glisser le seuil de décision entre deux distributions de scores qui se chevauchent et observez la matrice de confusion, la courbe ROC, l'AUC et la courbe précision-rappel se mettre à jour en direct.

confusion-matrixroc-curveaucprecision-recallclassification-metricsmachine-learning

2D · HTML5 Canvas 2D · Cible 60 FPS · fonctionne entièrement côté client, sans installation

Qu'avez-vous trouvé ?

Ajouter les étapes de reproduction (facultatif)