🔁 Retropropagación

El descenso de gradiente estocástico (SGD) actualiza los pesos después de cada ejemplo de entrenamiento individual — rápido pero ruidoso. El descenso de gradiente por lote completo calcula el gradiente exacto sobre todo el conjunto de datos antes de actualizar — estable pero lento para conjuntos de datos grandes. El descenso de gradiente por mini-lotes (el estándar en aprendizaje profundo) usa un subconjunto aleatorio de B ejemplos por actualización, promediando el gradiente sobre el lote. El mini-lote equilibra el ruido (que ayuda a escapar de mínimos locales) con la eficiencia computacional (las operaciones matriciales sobre lotes se paralelizan bien en GPUs). Esta simulación ejecuta SGD de una sola muestra para mostrar claramente las actualizaciones individuales de los pesos.

La sigmoide σ(z) = 1/(1 + e^(–z)) comprime las salidas a (0, 1) y fue la elección original; sufre de gradientes que se desvanecen para valores grandes de |z|. Tanh(z) = (e^z – e^(–z))/(e^z + e^(–z)) mapea a (–1, 1) y tiene gradientes más fuertes cerca de cero que la sigmoide, haciéndola mejor para capas ocultas. ReLU(z) = max(0, z) es la elección moderna más popular: tiene un gradiente constante de 1 para z > 0 (sin desvanecimiento), es computacionalmente económica, y produce activaciones dispersas. Leaky ReLU y GELU son variantes comunes que corrigen el problema de las "ReLU moribundas".

La tasa de aprendizaje η escala cada paso de gradiente: W ← W – η ∂L/∂W. Una η demasiado grande hace que la pérdida oscile o diverja (sobrepasando el mínimo); una η demasiado pequeña lleva a una convergencia extremadamente lenta. Los valores típicos van de η = 10⁻⁴ a 10⁻¹. El deslizador de tasa de aprendizaje en esta simulación usa una escala logarítmica (10^x donde x va de –3 a 0). Optimizadores modernos como Adam adaptan η por parámetro usando estimaciones de momento, fijando efectivamente una buena η de forma automática y requiriendo mucho menos ajuste.

El brillo de los bordes durante la pasada hacia atrás es proporcional a |∂L/∂w|, el valor absoluto del gradiente para ese peso. Los bordes que brillan intensamente están aprendiendo rápido — sus pesos se están actualizando con un paso grande. Los bordes oscuros corresponden a un gradiente casi nulo, lo que significa que esos pesos apenas cambian. En redes profundas con activaciones sigmoide, a menudo se puede ver que las primeras capas tienen bordes tenues (gradiente que se desvanece) mientras que las capas posteriores brillan intensamente — ilustrando exactamente por qué las redes profundas eran difíciles de entrenar antes de ReLU y la normalización por lotes.

El fondo del lienzo está codificado por colores según la predicción de clase actual de la red en cada punto: las regiones rojas se predicen como clase 0, las azules como clase 1, con la saturación indicando la confianza. Después de cada actualización de peso, este fondo se vuelve a renderizar ejecutando una pasada hacia adelante en cada píxel — lo cual es computacionalmente costoso para redes grandes, por lo que se muestrea en una cuadrícula más gruesa y se escala. A medida que avanza el entrenamiento, puedes ver cómo el límite de decisión se retuerce y se agudiza para separar las dos clases, a veces quedando atrapado en un mínimo local.

Los cinco preajustes prueban diferentes aspectos de la expresividad de la red: "2 Gauss" (manchas linealmente separables) se puede resolver incluso sin capas ocultas; "XOR" requiere al menos una capa oculta porque las clases no son linealmente separables; "Moons" y "Spirals" requieren que la red aprenda un límite curvo y no convexo; "3 Cluster" prueba la separación multiclase con una salida softmax. Las espirales son un banco de pruebas clásico — una red totalmente conectada con solo dos unidades ocultas de tanh puede resolverlas, mientras que un clasificador lineal no puede.

La norma del gradiente |∇| = √(Σ (∂L/∂w)²) es la longitud euclidiana de todo el vector de gradiente concatenado a través de todos los pesos. Una norma de gradiente grande significa que la superficie de pérdida es empinada y la red está lejos de un mínimo; una norma muy pequeña sugiere convergencia o una meseta. Monitorear |∇| es útil para detectar gradientes explosivos (|∇| repentinamente muy grande) y gradientes que se desvanecen (|∇| cerca de cero al principio del entrenamiento). El recorte de gradiente fija un |∇| máximo permitido para estabilizar el entrenamiento de redes recurrentes.

Sí — XOR no es linealmente separable, lo que significa que ninguna línea única puede separar las cuatro combinaciones de entrada, por lo que un perceptrón (sin capas ocultas) falla por completo. Una red con al menos una neurona oculta que use una activación no lineal puede aprender XOR exactamente. El artículo de Rumelhart et al. de 1986 usó XOR como la demostración clave de que la retropropagación permite que las unidades ocultas desarrollen representaciones internas útiles en lugar de ser meros intermediarios. Con η = 0.1 y activaciones tanh, la red aquí típicamente resuelve XOR en unos pocos cientos de pasos de SGD.