AccueilIA et Apprentissage automatiqueClassificateur de Fraude dans le Secteur Public — Précision, Rappel et la Matrice de Confusion

🏛️ Classificateur de Fraude dans le Secteur Public — Précision, Rappel et la Matrice de Confusion

Un classificateur note les demandes de prestations selon leur risque de fraude — observez la matrice de confusion, la précision et le rappel évoluer en direct lorsque vous déplacez le seuil de décision sur une population réellement notée.

IA et Apprentissage automatique3DModéré60 FPS
ai-government-data-analytics ↗ Ouvrir séparément

À propos du Classificateur de Fraude dans le Secteur Public

Les organismes gouvernementaux qui versent des prestations, subventions ou remboursements utilisent de plus en plus la notation statistique du risque pour décider quelles demandes méritent un examen plus approfondi. Cette simulation génère une population synthétique de plusieurs centaines de demandes avec un taux de fraude sous-jacent de 8 % — délibérément faible, car la fraude réelle aux prestations est un événement véritablement rare par rapport au volume de demandes légitimes — et entraîne un véritable classificateur de régression logistique sur deux caractéristiques visibles (le z-score du montant de la demande et le score d'anomalie du schéma de dépôt) en utilisant la descente de gradient par lots sur la perte d'entropie croisée, exactement comme le serait un modèle en production, mais à une échelle où vous pouvez observer la convergence, époque par époque.

Une fois entraîné, chaque demande porte une probabilité de fraude en direct, rendue sous forme de carte thermique de probabilité derrière le nuage de points. Déplacer le curseur de seuil change quelles demandes comptent comme « signalées », et la matrice de confusion, la précision, le rappel, le score F1 et le taux de faux positifs se mettent tous à jour immédiatement par rapport aux vraies étiquettes (normalement cachées) de la population. Un contrôle de capacité d'examen ajoute la contrainte sous laquelle opère toute vraie équipe de lutte contre la fraude : les enquêteurs ne peuvent examiner qu'un certain nombre de demandes par période, si bien que le seuil « statistiquement correct » et le seuil « opérationnellement viable » sont souvent deux nombres différents.

Questions Fréquentes

Pourquoi la précision est-elle si difficile à atteindre ici, même avec un modèle bien séparé, alors que seulement 8 % des demandes sont frauduleuses ?

C'est l'effet du taux de base (a priori). Supposons que 500 demandes comprennent 40 frauduleuses (un taux de 8 %) et que le modèle atteigne un rappel solide de 85 % avec un taux de faux positifs modeste de 6 % sur le groupe légitime bien plus grand. Il signale correctement 34 des 40 cas de fraude (vrais positifs) — mais le taux de faux positifs s'applique aux 460 demandes légitimes, produisant environ 28 faux positifs. Précision = 34/(34+28) ≈ 55 %, même si le modèle sous-jacent est réellement bon. Lorsque la condition recherchée est rare, la simple taille de la classe négative fait que même un faible taux de faux positifs génère un nombre absolu de fausses alertes qui rivalise avec les vrais positifs. C'est la même arithmétique qui sous-tend le classique paradoxe du « test de maladie rare » en médecine.

Que signifie concrètement chaque cellule de la matrice de confusion pour une équipe gouvernementale de contrôle de la fraude ?

Vrai positif : une demande réellement frauduleuse est signalée, fait l'objet d'une enquête, et le constat est confirmé — le système a fonctionné. Faux positif : un demandeur légitime est signalé, ce qui consomme le temps d'un enquêteur sur un dossier qui s'avère finalement sain, et peut entraîner un examen stressant, un retard de paiement ou une procédure d'appel — c'est la charge d'enquête et, à grande échelle, un coût en termes d'équité et de confiance. Faux négatif : une demande frauduleuse obtient un score inférieur au seuil et n'est examinée d'aucune façon — de l'argent est versé alors qu'il n'aurait pas dû l'être, et personne n'est jamais averti de revérifier, sauf si le dossier ressurgit autrement. Vrai négatif : une demande légitime est correctement laissée de côté — le résultat invisible, sans incident, et le plus courant, puisque la plupart des demandes sont légitimes.

Pourquoi la capacité d'examen constitue-t-elle une contrainte réelle en plus du choix statistique du seuil ?

Un seuil choisi uniquement pour équilibrer statistiquement la précision et le rappel peut tout de même signaler bien plus de demandes que les enquêteurs ne peuvent réellement en examiner sur une période — transformant un problème de notation en problème de tri. Si la capacité est de 50 examens par période mais que le seuil signale 140 demandes, soit la file d'attente s'accumule indéfiniment, soit des dossiers restent non examinés au-delà des délais utiles, soit le personnel prend des décisions précipitées et de moindre qualité. En pratique, les organismes inversent souvent la logique : plutôt que de choisir d'abord un seuil de probabilité, ils classent toutes les demandes par score de fraude et prennent les N premières selon la capacité, ce qui équivaut mathématiquement à choisir le seuil qui produit exactement N signalements pour cette période. C'est souvent la capacité, et non les seules statistiques, qui finit par fixer le seuil opérationnel réel.

En quoi cela diffère-t-il de la détection de fraude par carte de crédit grand public en temps réel ?

La détection de fraude par carte note une transaction en quelques millisecondes et peut la bloquer ou l'approuver automatiquement à l'instant, avec un remède rapide et peu risqué en cas d'erreur (un refus de carte, un SMS de suivi). Le contrôle de la fraude aux prestations gouvernementales alimente à l'inverse un pipeline d'examen humain plus lent, est soumis à des droits de procédure régulière et d'appel, et un faux positif peut signifier que le revenu d'un demandeur vulnérable est suspendu ou retardé pendant des semaines pendant qu'un dossier est instruit — un coût d'erreur bien plus élevé pour les personnes concernées. La fraude aux prestations est aussi généralement plus rare en proportion des demandes, les caractéristiques disponibles sont généralement administratives plutôt que comportementales-biométriques, et les conséquences juridiques et réputationnelles d'un signalement erroné sont bien plus lourdes pour le secteur public que pour une banque.

Pourquoi les biais et l'équité comptent-ils particulièrement pour ce type d'application ?

Des caractéristiques telles que le montant de la demande et les anomalies de schéma de dépôt peuvent corréler, indirectement, avec des caractéristiques protégées comme la composition du ménage, le handicap, l'origine ethnique, ou la précarité liée au code postal — même lorsque ces caractéristiques ne sont jamais utilisées directement. Si les faux positifs touchent de façon disproportionnée des groupes déjà défavorisés, un outil de contrôle automatisé peut systématiquement aggraver le tort causé aux personnes les moins capables d'absorber une enquête injustifiée ou un versement suspendu. Des cas réels tels que le scandale néerlandais des allocations de garde d'enfants et le dispositif Robodebt en Australie ont montré comment des systèmes automatisés de détection de fraude et de dette, déployés sans audit adéquat par sous-groupes, sans explicabilité, ni véritable droit d'appel, ont causé un préjudice injustifié à grande échelle. C'est pourquoi les audits de précision/rappel par sous-groupe, l'examen humain des cas signalés, et des droits d'appel clairs sont considérés comme des exigences de premier ordre dans ce domaine, et non comme des options accessoires.

Que fait exactement la régression logistique ici, et pourquoi l'entraîner par descente de gradient ?

La régression logistique combine les deux caractéristiques d'entrée avec des poids appris w₁, w₂ et un biais b en un seul score z = w₁x₁ + w₂x₂ + b, puis compresse ce score en une probabilité grâce à la fonction sigmoïde p = 1/(1+e⁻ᶻ). Entraîner le modèle consiste à choisir w₁, w₂, b pour minimiser la perte d'entropie croisée — la moyenne de −[y·log(p) + (1−y)·log(1−p)] sur toutes les demandes, où y est la vraie étiquette de fraude. Comme cette perte est convexe par rapport aux poids en régression logistique, la descente de gradient — calculer de façon répétée le gradient de la perte par rapport à chaque poids et avancer d'une petite distance dans la direction opposée — converge de manière fiable vers le même optimum global à chaque nouvel entraînement, ce que cette simulation exécute réellement, époque par époque, en observant la perte diminuer.

Pourquoi existe-t-il un compromis entre précision et rappel, et comment le curseur de seuil le contrôle-t-il ?

Le modèle produit une probabilité de fraude continue pour chaque demande ; le curseur de seuil détermine la limite au-dessus de laquelle une demande est comptée comme « signalée ». Abaisser le seuil signale davantage de demandes au total, ce qui capture nécessairement plus de vrais cas de fraude (rappel plus élevé) mais entraîne aussi davantage de demandes légitimes qui ont simplement obtenu un score modérément élevé (précision plus faible). Relever le seuil fait l'inverse : moins de signalements, mais plus sûrs, donc la précision augmente tandis que le rappel diminue à mesure que les cas de fraude marginaux passent sous la barre. Comme la distribution des scores sous-jacente se chevauche entre les classes, aucun seuil unique ne maximise les deux simultanément — le curseur vous permet de tracer en direct toute cette courbe de compromis, cellule par cellule, dans la matrice de confusion.

⚙ Sous le capot

Un classificateur note les demandes de prestations selon leur risque de fraude — observez la précision et le rappel évoluer en direct lorsque vous déplacez le seuil de décision.

Three.jsWebGLAIMachine Learning

3D · Moteur Three.js / WebGL · Cible 60 FPS · fonctionne entièrement côté client, sans installation

Qu'avez-vous trouvé ?

Ajouter des étapes de reproduction (facultatif)