Навчання Нейронної Мережі — Поверхня Втрат та Градієнтний Спуск

Набір Даних

Архітектура

Нейронів у шарі 16

Гіперпараметри

Швидкість навчання η 0.010

Розмір батчу 32

Регуляризація L2 λ 0.001

Оптимізатор

Керування

Статистика

Епоха

—

Втрати (train)

—

Точність (train)

—

Точність (val)

L = −Σ[y log ŷ + (1−y)log(1−ŷ)]
SGD: w -= η·∇L
Adam: виправлені за зміщенням m̂/√v̂
Перенавчання: train↓ але val↑