📉 Visualizador de Descenso de Gradiente

El descenso de gradiente es un método iterativo para minimizar una función dando pasos repetidos en la dirección de máximo decrecimiento, el gradiente negativo. Cada actualización es parámetro ← parámetro − tasa_de_aprendizaje × gradiente. En el aprendizaje automático es el motor que ajusta los pesos del modelo para reducir una pérdida, y esta página hace visible ese proceso sobre una superficie de entrada 2D dibujada en 3D.

SGD da un paso de tamaño fijo a lo largo del gradiente puro. Momentum acumula una velocidad, por lo que gana rapidez en direcciones consistentes y amortigua la oscilación. RMSprop divide cada paso por un promedio móvil de los gradientes al cuadrado, dando a cada eje su propia escala adaptativa. Adam combina el momentum con el escalado tipo RMSprop y corrección de sesgo, por lo que suele converger más rápido aquí.

La tasa de aprendizaje determina cuánto avanza cada paso; si es demasiado pequeña la convergencia es muy lenta, y si es demasiado grande el marcador se pasa de largo o diverge. El ruido de gradiente añade una perturbación aleatoria proporcional a la magnitud del gradiente, imitando los gradientes estocásticos del entrenamiento por mini-lotes y mostrando cómo cada optimizador se adapta a estimaciones de dirección imperfectas.

Sí, en cuanto a la mecánica principal. Los gradientes de las cuatro funciones de pérdida están codificados analíticamente, y las cuatro reglas de actualización implementan las ecuaciones estándar, incluidos los momentos con corrección de sesgo de Adam con β₂ fijado en 0.999. Es un modelo didáctico fiel de dos parámetros, no una red profunda completa, por lo que omite mini-lotes, decaimiento de peso y programaciones de tasa de aprendizaje.

En la superficie de silla el gradiente casi desaparece a lo largo de una dirección, por lo que el SGD puro puede estancarse mientras los métodos adaptativos escapan más rápido. En Himmelblau hay cuatro mínimos separados, por lo que el punto de partida decide en qué cuenca cae cada trayectoria. Estos comportamientos ilustran que el descenso de gradiente encuentra un mínimo local cerca de donde comienza, no necesariamente el global.