🤖 Neuronales Netzwerk-Training

XOR kennzeichnet einen Punkt mit 1, wenn genau eine seiner beiden Koordinaten positiv ist, was nicht linear trennbar ist — keine einzelne gerade Linie kann die vier XOR-Quadranten korrekt teilen. Das Netzwerk dieser Simulation verwendet zwei ReLU-versteckte Schichten genau deshalb, weil sie es ihm ermöglichen, mehrere gerade Entscheidungsgrenzen zu einer echt gekrümmten, nichtlinearen Grenze zu kombinieren, was die minimale Architektur ist, die überhaupt in der Lage ist, XOR zu lösen.

Einfaches SGD aktualisiert jedes Gewicht um die Lernrate mal seinen rohen Gradienten, hier in der Funktion applyOpt als lr * grad berechnet. Momentum akkumuliert stattdessen einen exponentiellen gleitenden Durchschnitt vergangener Gradienten (0,9 mal das vorherige Momentum plus 0,1 mal den neuen Gradienten), bevor mit der Lernrate skaliert wird, was verrauschte Aktualisierungen glättet. Adam geht weiter und verfolgt sowohl eine Schätzung des ersten Moments m als auch eine Schätzung des zweiten Moments v mit Bias-Korrektur, teilt dann den Effekt der Lernrate durch die Quadratwurzel von v — dies passt die effektive Schrittgröße pro Parameter an und konvergiert von den dreien üblicherweise am schnellsten.

Die rechte Leinwand zeichnet den Trainingsverlust in Blau und den Validierungsverlust in Rot auf denselben Achsen, neu berechnet alle 10 Epochen aus dem zurückgehaltenen 20%-Validierungssplit, der in makeDataset erstellt wird. Overfitting ist in dem Moment sichtbar, in dem der blaue Trainingsverlust weiter sinkt, während der rote Validierungsverlust sich abflacht oder ansteigt — das Netzwerk passt sich an Eigenheiten des Trainings-Batches an statt an das zugrundeliegende Muster, und eine Erhöhung der L2-Regularisierung λ oder eine Reduzierung der versteckten Einheiten pro Schicht sind die beiden Steuerelemente, die dem am direktesten entgegenwirken.

Die Stärke der L2-Regularisierung λ wird in trainStep als lambda * row[j] zum Gradienten jedes Gewichts hinzugefügt, bevor die Optimierer-Aktualisierung erfolgt, was mathematisch gleichbedeutend damit ist, jedes Gewicht bei jedem Schritt leicht in Richtung Null zu schrumpfen (Weight Decay). Größere λ-Werte halten die Gewichte des Netzwerks klein und seine Entscheidungsgrenze glatter, was bei verrauschten Datensätzen wie Moons und Circles hilft, aber verhindern kann, dass das Netzwerk eine wirklich komplizierte Grenze wie bei Spiral anpasst, wenn er zu hoch eingestellt ist.

Die Spiral-Voreinstellung verschachtelt zwei Klassen entlang ineinander verschlungener Spiralarme, die sich mehrfach um den Ursprung winden, was eine Entscheidungsgrenze mit weit mehr Krümmung und Windungen erfordert als die einfachen Ring- (Circles) oder Halbmondformen (Moons). Mit nur 16 versteckten Einheiten pro Schicht kann das Netzwerk Schwierigkeiten haben, jede Spiralwindung darzustellen; eine Erhöhung der versteckten Einheiten gibt den ReLU-Schichten genug unabhängige lineare Stücke, um die engen, wiederholten Kurven der Grenze anzunähern.