DE 
English
Українська
Polski🔁 Backpropagation — Beobachten Sie Gradienten durch ein MLP fließen
Interaktiver Backpropagation-Simulator: Beobachten Sie, wie Deltas rückwärts durch ein kleines MLP pulsieren und Gradienten jedes Gewicht aktualisieren, während sich die Entscheidungsgrenze verformt.
Über diese Simulation
Backpropagation (Rumelhart, Hinton & Williams, 1986) ist der Algorithmus, der das Training tiefer neuronaler Netze praktikabel macht. Er wendet die Kettenregel der Analysis an, um den Gradienten der Verlustfunktion bezüglich jedes Gewichts im Netz in einem einzigen Rückwärtsdurchlauf effizient zu berechnen — im Gegensatz zum naiven Ansatz, jedes Gewicht einzeln zu stören, der O(W) Vorwärtsdurchläufe für W Gewichte kosten würde.
Häufig gestellte Fragen
Welches Problem löst Backpropagation?
Das Training eines neuronalen Netzes bedeutet, Gewichte W zu finden, die eine Verlustfunktion L(W) minimieren — etwa Kreuzentropie für Klassifikation oder mittleren quadratischen Fehler für Regression. Gradientenabstieg erfordert die Berechnung von ∂L/∂w für jedes Gewicht w. Backpropagation nutzt die Kettenregel, um den exakten Gradienten von L bezüglich aller W Gewichte in nur einem Vorwärts- und einem Rückwärtsdurchlauf zu berechnen — was die Berechnung von O(W²) auf O(W) reduziert.
Wie macht die Kettenregel Backprop möglich?
Die Kettenregel besagt: Ist z = f(y) und y = g(x), dann dz/dx = (dz/dy)(dy/dx). In einem Netz mit Schichten l = 1, …, L hängt der Verlust L von der Ausgabe ŷ ab, die von Aktivierungen in Schicht L−1 abhängt, und so weiter. Der Rückwärtsdurchlauf berechnet δ^(l), das 'Fehlersignal' in Schicht l, rekursiv.
Was ist das Problem des verschwindenden Gradienten?
Bei Sigmoid- oder Tanh-Aktivierungen ist die Ableitung σ'(z) höchstens 0,25 (Sigmoid) oder 1 (Tanh bei z=0) und schrumpft für große |z| gegen null. Die Multiplikation vieler solcher Ableitungen über L Schichten hinweg lässt Gradienten in frühen Schichten exponentiell schrumpfen — bei 10 Schichten etwa um den Faktor 10⁻⁶, was frühe Gewichte kaum trainierbar macht.
Was ist die Lernrate und wie beeinflusst sie das Training?
Die Lernrate η skaliert jeden Gradientenschritt: W ← W − η∂L/∂W. Ein zu großes η lässt den Verlust oszillieren oder divergieren; ein zu kleines η führt zu extrem langsamer Konvergenz. Typische Werte reichen von η = 10⁻⁴ bis 10⁻¹. Moderne Optimierer wie Adam passen η pro Parameter automatisch an.
Kann dieses Netz die XOR-Funktion lernen?
Ja — XOR ist nicht linear separierbar, das heißt keine einzelne Linie kann die vier Eingabekombinationen trennen, sodass ein Perzeptron (ohne verborgene Schichten) vollständig versagt. Ein Netz mit mindestens einem verborgenen Neuron mit nichtlinearer Aktivierung kann XOR exakt lernen. Mit η = 0,1 und Tanh-Aktivierungen löst das Netz hier XOR typischerweise in wenigen hundert SGD-Schritten.