🔁 Rétropropagation

La descente de gradient stochastique (SGD) met à jour les poids après chaque exemple d'entraînement unique — rapide mais bruitée. La descente de gradient par lot complet calcule le gradient exact sur l'ensemble de données entier avant de mettre à jour — stable mais lente pour de grands ensembles de données. La descente de gradient par mini-lots (la norme en apprentissage profond) utilise un sous-ensemble aléatoire de B exemples par mise à jour, moyennant le gradient sur le lot. Le mini-lot équilibre le bruit (qui aide à échapper aux minima locaux) avec l'efficacité computationnelle (les opérations matricielles sur les lots se parallélisent bien sur GPU). Cette simulation exécute un SGD à échantillon unique pour montrer clairement les mises à jour individuelles de poids.

La sigmoïde σ(z) = 1/(1 + e^(–z)) compresse les sorties vers (0, 1) et était le choix original ; elle souffre de gradients qui disparaissent pour de grands |z|. Tanh(z) = (e^z – e^(–z))/(e^z + e^(–z)) mappe vers (–1, 1) et a des gradients plus forts près de zéro que sigmoïde, la rendant meilleure pour les couches cachées. ReLU(z) = max(0, z) est le choix moderne le plus populaire : il a un gradient constant de 1 pour z > 0 (pas de disparition), est peu coûteux en calcul, et produit des activations éparses. Leaky ReLU et GELU sont des variantes courantes qui corrigent le problème du « ReLU mourant ».

Le taux d'apprentissage η met à l'échelle chaque pas de gradient : W ← W – η ∂L/∂W. Un η trop grand fait osciller ou diverger la perte (dépassant le minimum) ; un η trop petit conduit à une convergence extrêmement lente. Les valeurs typiques vont de η = 10⁻⁴ à 10⁻¹. Le curseur de taux d'apprentissage dans cette simulation utilise une échelle logarithmique (10^x où x va de –3 à 0). Les optimiseurs modernes comme Adam adaptent η par paramètre en utilisant des estimations de moments, définissant efficacement un bon η automatiquement et nécessitant souvent beaucoup moins de réglage.

La luminosité des arêtes pendant la passe arrière est proportionnelle à |∂L/∂w|, la valeur absolue du gradient pour ce poids. Les arêtes brillamment lumineuses apprennent rapidement — leurs poids sont mis à jour par un grand pas. Les arêtes sombres correspondent à un gradient presque nul, signifiant que ces poids changent à peine. Dans les réseaux profonds avec des activations sigmoïde, vous pouvez souvent voir que les premières couches ont des arêtes ternes (gradient qui disparaît) tandis que les couches suivantes brillent vivement — illustrant exactement pourquoi les réseaux profonds étaient difficiles à entraîner avant ReLU et la normalisation par lots.

L'arrière-plan du canvas est codé en couleur par la prédiction de classe actuelle du réseau à chaque point : les régions rouges sont prédites comme classe 0, bleu comme classe 1, avec la saturation indiquant la confiance. Après chaque mise à jour de poids, cet arrière-plan est re-rendu en exécutant une passe avant à chaque pixel — ce qui est coûteux en calcul pour de grands réseaux, donc il est échantillonné sur une grille plus grossière et redimensionné. À mesure que l'entraînement progresse, vous pouvez observer la frontière de décision se tordre et s'affiner pour séparer les deux classes, se coinçant parfois dans un minimum local.

Les cinq préréglages testent différents aspects de l'expressivité du réseau : « 2 Gauss » (blobs linéairement séparables) peut être résolu même sans couches cachées ; « XOR » nécessite au moins une couche cachée car les classes ne sont pas linéairement séparables ; « Moons » et « Spirales » nécessitent que le réseau apprenne une frontière courbe, non convexe ; « 3 Cluster » teste la séparation multi-classes avec une sortie softmax. Les spirales sont un benchmark classique — un réseau entièrement connecté avec seulement deux unités cachées tanh peut les résoudre, alors qu'un classificateur linéaire ne le peut pas.

La norme du gradient |∇| = √(Σ (∂L/∂w)²) est la longueur euclidienne de tout le vecteur gradient concaténé à travers tous les poids. Une grande norme de gradient signifie que la surface de perte est raide et que le réseau est loin d'un minimum ; une très petite norme suggère une convergence ou un plateau. Surveiller |∇| est utile pour détecter les gradients explosifs (|∇| soudainement très grand) et les gradients qui disparaissent (|∇| proche de zéro tôt dans l'entraînement). L'écrêtage de gradient fixe une |∇| maximale autorisée pour stabiliser l'entraînement des réseaux récurrents.

Oui — XOR n'est pas linéairement séparable, ce qui signifie qu'aucune ligne unique ne peut séparer les quatre combinaisons d'entrée, donc un perceptron (sans couches cachées) échoue complètement. Un réseau avec au moins un neurone caché utilisant une activation non linéaire peut apprendre XOR exactement. L'article de 1986 de Rumelhart et al. a utilisé XOR comme démonstration clé que la rétropropagation permet aux unités cachées de développer des représentations internes utiles plutôt que d'être de simples intermédiaires. Avec η = 0,1 et des activations tanh, le réseau ici résout typiquement XOR en quelques centaines d'étapes SGD.