🧠 Neural Gas

Eine selbstorganisierende Karte ordnet ihre Knoten auf einem festen Gitter an (hier ein quadratisches Gitter bis zu 16×16) und aktualisiert Nachbarn basierend auf ihrem Gitterabstand zum Gewinnerknoten, wodurch die Karte gezwungen wird, die 2D-Gittertopologie beizubehalten, während sie sich an die Daten anpasst. Neural Gas hat überhaupt kein Gitter: Jeder Knoten wird einfach nach seinem Abstand zum aktuellen Eingabepunkt eingestuft, und die Aktualisierungsstärke nimmt mit dem Rang statt mit der räumlichen Position ab, sodass sich die Knoten in die Anordnung einpendeln können, die die Daten am besten repräsentiert.

Für jeden abgetasteten Datenpunkt findet die Simulation zunächst die „am besten passende Einheit“ (BMU) — den diesem Punkt am nächsten liegenden Gitterknoten — und aktualisiert dann jeden Knoten i durch Δwᵢ = η·h(d)·(x−wᵢ), wobei h(d) = e^(−d²/2σ²) und d der Gitterabstand von Knoten i zum BMU ist. Knoten in der Nähe des BMU bewegen sich fast so stark wie der BMU selbst, während entfernte Knoten sich kaum bewegen, was es dem gesamten Gitter ermöglicht, sich sanft zu falten, um die Datenmannigfaltigkeit nachzuzeichnen.

Sowohl η als auch σ (oder λ für Neural Gas) werden mit einem exponentiellen Abklingfaktor e^(−t·k) multipliziert, während die Trainingsepochen sich der Obergrenze von 200 Epochen nähern, sodass frühe Aktualisierungen groß sind und eine breite Nachbarschaft betreffen (grobe, globale Organisation), während spätere Aktualisierungen klein und lokal sind (Feinabstimmung). Ohne diesen Abkühlungsplan würde sich die Karte entweder nie stabilisieren oder sich aus ihrem zufälligen Anfangszustand nicht korrekt entfalten.

Der Quantisierungsfehler ist der durchschnittliche Abstand einer Stichprobe von Datenpunkten zu ihrem nächstgelegenen Knoten, hier berechnet über 100 Punkte alle 5 Epochen; ein niedrigerer Wert bedeutet, dass die Knoten näher an den tatsächlichen Datenpunkten liegen, sodass die Karte die Verteilung genauer repräsentiert. Die Beobachtung, wie diese Zahl während des Trainings sinkt, ist eine direkte, numerische Möglichkeit, den visuellen Eindruck zu bestätigen, dass sich das Gitter an die Daten annähert.

Die festen Nachbarschaftsverbindungen eines quadratischen Gitters passen natürlich zu einer konvexen, gefüllten Region wie der Voreinstellung „Gleichmäßiges Quadrat“, aber Verteilungen wie Ring oder Halbmond sind gekrümmt und hohl, was das Gitter zwingt, sich zu verdrehen, auf sich selbst zurückzufalten oder Knoten im leeren Raum zwischen den Armen der Form isoliert zu lassen. Neural Gas, dem eine starre Topologie fehlt, verfolgt diese unbequemen Formen in der Regel sauberer, da seine Knoten nicht gezwungen sind, mit festen Nachbarn verbunden zu bleiben.