🧠 Neuronales Netzwerk — Backpropagation

Aufgabe wählt den Datensatz (XOR, Kreis oder Spirale). Versteckte Neuronen legt fest, wie breit die versteckte Schicht ist, von 2 bis 16 Einheiten. Lernrate skaliert den Aktualisierungsschritt von 0,01 bis 0,20. Geschwindigkeit legt fest, wie viele Epochen pro Animationsframe ablaufen. Trainieren, Schritt und Zurücksetzen starten kontinuierliches Training, gehen eine Epoche voran bzw. initialisieren die Gewichte neu.

Jedes versteckte und Ausgabeneuron verwendet die Sigmoid-Aktivierung, die Werte in den Bereich 0 bis 1 quetscht. Das Training minimiert den mittleren quadratischen Fehler zwischen Vorhersagen und Zielen, im Panel als Verlust (MSE) angezeigt. Das Ausgabeneuron verwendet immer Sigmoid, sodass sein Wert direkt als wahrscheinlichkeitsähnlicher Wert zwischen 0 und 1 gelesen werden kann.

Gewichte werden aus einem kleinen zufälligen Bereich gezogen, skaliert mit der Quadratwurzel aus zwei geteilt durch die Fan-in der Schicht, eine He-artige Initialisierung, die frühe Aktivierungen vor Sättigung bewahrt. Biases starten bei null. Das Drücken von Zurücksetzen initialisiert alle Gewichte neu, weshalb derselbe Datensatz jedes Mal auf einem anderen Weg konvergieren kann.

Das rechte Panel färbt ein Gitter von Punkten nach der Ausgabe des Netzwerks ein und mischt hin zu einer Farbe für Klasse 0 und einer anderen für Klasse 1. Trainingspunkte werden darüber als Kreise gezeichnet. Während das Netzwerk lernt, schärfen sich die farbigen Regionen und krümmen sich, um die beiden Klassen zu trennen. Ein Klick innerhalb des Panels führt diesen Punkt durch das Netzwerk und gibt seine Vorhersage aus.

Die Mathematik ist echt: echte Vorwärtspropagation, echte Kettenregel-Backpropagation und echter Gradientenabstieg, im Prinzip identisch zu großen Netzwerken. Es ist im Maßstab vereinfacht, mit einer kleinen versteckten Schicht, stochastischen Aktualisierungen pro Beispiel und einer festen Sigmoid-Funktion statt moderner Techniken wie ReLU, Mini-Batches, Momentum oder Adam, die in Produktionssystemen verwendet werden.

Zu hoch, und die Aktualisierungen schießen über das Minimum hinaus, sodass der Verlust oszilliert oder divergiert, statt sich einzupendeln. Zu niedrig, und das Training kriecht dahin und benötigt viel mehr Epochen, um einen niedrigen Fehler zu erreichen. Der Schieberegler reicht von 0,01 bis 0,20, sodass es lehrreich ist, zu vergleichen, wie sich die Verlustkurve an den Extremen im Vergleich zu einem moderaten Wert verhält.

Backpropagation mit Gradientenabstieg ist die Trainingsmaschine hinter fast jedem modernen Deep-Learning-System, einschließlich Bildklassifizierern, Spracherkennung, Empfehlungssystemen und großen Sprachmodellen. Die Prinzipien, die Sie hier beobachten, hochskaliert auf Milliarden von Gewichten und reichhaltigere Architekturen, sind es, die es diesen Systemen ermöglichen, Muster direkt aus Daten zu lernen.