📉 Descenso de Gradiente — Superficie de Pérdida 3D y Optimizadores

El descenso de gradiente es un algoritmo iterativo de optimización que minimiza una función de pérdida moviendo repetidamente los parámetros en la dirección del gradiente negativo. Es la columna vertebral del entrenamiento de redes neuronales y de la mayoría de los modelos de aprendizaje automático.

La tasa de aprendizaje controla el tamaño del paso dado en la dirección del gradiente negativo. Una tasa demasiado grande hace que el optimizador se pase de los mínimos y diverja; una tasa demasiado pequeña hace que el entrenamiento sea muy lento. Los métodos adaptativos como Adam ajustan automáticamente las tasas de aprendizaje efectivas por parámetro.

SGD (Descenso de Gradiente Estocástico) actualiza los parámetros restando una fracción fija del gradiente. Adam (Estimación Adaptativa de Momentos) mantiene promedios móviles exponenciales tanto de los gradientes como de sus cuadrados, dando a cada parámetro su propia tasa de aprendizaje adaptativa con corrección de sesgo, lo que normalmente converge mucho más rápido en superficies complejas.

La función de Rosenbrock f(x,y) = (1−x)² + 100(y−x²)² tiene su mínimo global en (1,1), dentro de un valle estrecho y curvado. El gradiente a lo largo del fondo del valle es diminuto comparado con el gradiente que lo atraviesa, por lo que el SGD puro tiende a zigzaguear lentamente por las paredes del valle mientras Momentum y Adam lo atraviesan mucho más rápido.

Momentum acumula un vector de velocidad, por lo que sigue acelerando en direcciones donde el gradiente apunta de forma consistente hacia el mismo lado, lo que favorece a valles suaves como el de Rosenbrock. Adam además normaliza el paso de cada parámetro mediante una estimación continua de su gradiente al cuadrado, lo que ayuda más en paisajes con curvaturas muy distintas en diferentes direcciones, como los muchos pequeños montículos de Rastrigin.