DE 
EnglishStandard
Українська
Polski🏛️ Betrugsklassifikator im öffentlichen Sektor — Präzision, Recall und Konfusionsmatrix
Ein Klassifikator bewertet Leistungsanträge auf Betrugsrisiko — beobachten Sie, wie sich Konfusionsmatrix, Präzision und Recall live ändern, während Sie die Entscheidungsschwelle über eine echte bewertete Population ziehen.
Über den Betrugsklassifikator im öffentlichen Sektor
Behörden, die Leistungen, Zuschüsse oder Erstattungen auszahlen, setzen zunehmend statistische Risikobewertung ein, um zu entscheiden, welche Anträge eine genauere Prüfung verdienen. Diese Simulation erzeugt eine synthetische Population von einigen hundert Anträgen mit einer verborgenen Betrugsrate von 8% — bewusst niedrig, da echter Leistungsbetrug tatsächlich ein seltenes Ereignis im Verhältnis zu berechtigten Anträgen ist — und trainiert einen echten logistischen Regressionsklassifikator auf zwei sichtbaren Merkmalen (Z-Score des Antragsbetrags und Anomaliewert des Einreichungsmusters) mittels Batch-Gradientenabstieg auf einer Kreuzentropie-Verlustfunktion, genau wie ein Produktionsmodell trainiert würde, nur in einem Maßstab, den Sie Epoche für Epoche konvergieren sehen können.
Nach dem Training trägt jeder Antrag eine lebendige Betrugswahrscheinlichkeit, gerendert als Wahrscheinlichkeits-Heatmap hinter dem Streudiagramm. Das Ziehen des Schwellenreglers ändert, welche Anträge als „markiert“ zählen, und Konfusionsmatrix, Präzision, Recall, F1-Wert und Falsch-Positiv-Rate aktualisieren sich sofort gegen die wahren (normalerweise verborgenen) Labels der Population. Die Prüfkapazitätskontrolle fügt eine reale Einschränkung hinzu: Ermittler können nur eine bestimmte Anzahl Anträge pro Periode prüfen, sodass der „statistisch korrekte“ und der „operativ machbare“ Schwellenwert oft zwei verschiedene Zahlen sind.
Häufig gestellte Fragen
Warum ist Präzision hier so schwer zu erreichen, selbst bei einem gut getrennten Modell, wenn nur 8% der Anträge Betrug sind?
Das ist ein Basisraten-Effekt. Angenommen, 500 Anträge umfassen 40 betrügerische (8%-Rate), und das Modell erreicht einen starken Recall von 85% bei einer bescheidenen Falsch-Positiv-Rate von 6% in der viel größeren legitimen Gruppe. Es markiert korrekt 34 von 40 Betrugsfällen — aber die Falsch-Positiv-Rate gilt für alle 460 legitimen Anträge und erzeugt etwa 28 falsch Positive. Präzision = 34/(34+28) ≈ 55%, obwohl das zugrunde liegende Modell wirklich gut ist. Ist die gesuchte Bedingung selten, erzeugt allein die Größe der negativen Klasse eine absolute Zahl falscher Alarme vergleichbar mit den echten Positiven.
Was bedeutet operativ jede Zelle der Konfusionsmatrix für ein staatliches Betrugsprüfungsteam?
Echt Positiv: ein tatsächlich betrügerischer Antrag wird markiert, untersucht und der Befund bestätigt — das System hat funktioniert. Falsch Positiv: ein legitimer Antragsteller wird markiert, verbraucht Ermittlerzeit für einen sich als sauber erweisenden Fall und kann einer belastenden Prüfung oder Zahlungsverzögerung gegenüberstehen. Falsch Negativ: ein betrügerischer Antrag erhält einen Wert unter der Schwelle und keine Prüfung — Geld wird ausgezahlt, das nicht ausgezahlt werden sollte. Echt Negativ: ein legitimer Antrag wird zu Recht ohne Eingriff belassen — der unsichtbarste und häufigste Ausgang, da die meisten Anträge legitim sind.
Warum spielt die Prüfkapazität eine Rolle als reale Einschränkung über die statistische Schwellenwahl hinaus?
Ein Schwellenwert, der allein zur statistischen Balance von Präzision und Recall gewählt wird, kann weit mehr Anträge markieren, als Ermittler in einer Periode tatsächlich prüfen können — und verwandelt das Bewertungsproblem in ein Triage-Problem. Wenn die Kapazität 50 Prüfungen pro Periode beträgt, aber die Schwelle 140 Anträge markiert, staut sich entweder die Warteschlange unbegrenzt, bleiben Fälle nach nützlichen Fristen ungeprüft, oder das Personal trifft übereilte Entscheidungen geringerer Qualität. In der Praxis kehren Behörden die Logik oft um: statt zuerst eine Wahrscheinlichkeitsschwelle zu wählen, ranken sie alle Anträge nach Betrugswert und nehmen die obersten N bis zur Kapazitätsgrenze.