🧭 Geschäftsentscheidungs-Klassifikator — Logistische Regression live

Weil die Entscheidungsgrenze der logistischen Regression — die Menge der Punkte, an denen p = 0,5 ist — immer exakt eine Gerade ist (w1·x + w2·y + b = 0), beziehungsweise eine Hyperebene in höheren Dimensionen. Wenn sich die beiden Ergebnisklassen tatsächlich überlappen (wie bei der Voreinstellung „Überlappend") oder das wahre Trennmuster gekrümmt oder nichtlinear ist, kann keine Wahl von w1, w2, b den Verlust auf null bringen. Das Training konvergiert trotzdem — es findet die eine Gerade, die die gesamte Kreuzentropie minimiert — erreicht aber keine perfekte Genauigkeit bei Daten, die nicht linear trennbar sind.

Die Lernrate η skaliert jeden Gradientenschritt: w ← w – η·∂L/∂w. Da die Kreuzentropie-Verlustfläche der logistischen Regression eine glatte konvexe Schale ist, führt ein zu großes η dazu, dass Aktualisierungen über das Minimum hinausschießen, sodass die Verlustkurve oszilliert oder divergiert, statt sich einzupendeln. Ein zu kleines η bewegt die Gewichte bei jedem Schritt kaum, sodass das Training nur langsam konvergiert und weit mehr Schritte verschwendet als nötig — allerdings kommt es, anders als bei tiefen Netzen, irgendwann trotzdem an, da es nur ein Minimum zu finden gibt.

Für jedes Trainingsbeispiel ist der Fehlerterm e = p – y (vorhergesagte Wahrscheinlichkeit minus wahres Label). Die Gradienten sind ∂L/∂w1 = e·x, ∂L/∂w2 = e·y und ∂L/∂b = e, gemittelt über den Mini-Batch. Diese ergeben sich direkt aus der Anwendung der Kettenregel durch den Log-Verlust und die Sigmoidfunktion — derselbe Mechanismus wie bei der Backpropagation, nur für ein Netzwerk ohne verborgene Schichten. Jeder Aktualisierungsschritt subtrahiert η mal diese gemittelten Gradienten von w1, w2 und b.

Jedes Pixel des Diagramms entspricht einem hypothetischen Paar (Engagement-Wert, Support-Tickets). Ein Forward-Pass berechnet die vom Modell vorhergesagte Wahrscheinlichkeit p an diesem Punkt; das Pixel wird rot eingefärbt, wenn p < 0,5 ist (vorhergesagtes hohes Risiko), oder blau, wenn p ≥ 0,5 ist (vorhergesagtes niedriges Risiko), wobei die Deckkraft mit |p – 0,5| × 2 skaliert wird, sodass sicher klassifizierte Bereiche kräftig wirken und der Bereich nahe der Grenze verblasst. Die durchgezogene Linie zeichnet genau nach, wo p = 0,5 ist — die lineare Entscheidungsgrenze selbst.

„Trennbar" platziert die beiden Cluster mit geringer Streuung weit auseinander, sodass eine Gerade nahezu 100 % Genauigkeit erreichen kann — nützlich, um saubere, schnelle Konvergenz zu beobachten. „Überlappend" rückt die Cluster mit mehr Streuung näher zusammen, sodass einige Punkte immer auf der falschen Seite jeder Geraden liegen werden — was zeigt, dass der Verlust über null stagniert, was erwartetes und korrektes Verhalten ist, kein Fehler. „Verrauscht" behält die trennbare Anordnung bei, vertauscht aber zufällig etwa 12 % der Labels, um reale Label-Rauschen nachzuahmen und zu zeigen, wie einige falsch beschriftete Punkte die erreichbare Genauigkeit dauerhaft begrenzen können.