Батч-нормалізація: Запобігання внутрішньому зсуву коваріації

Проблема: Постійно Змінювана Мета

У глибокій мережі ваги кожного шару оновлюються одночасно під час навчання, що означає, що розподіл вхідних даних, які надходять до будь-якого заданого шару, змінюється з кроку на крок. Цей феномен, який оригінальні автори назвали внутрішньою зміною розподілу (internal covariate shift), змушує кожен шар постійно адаптуватися до змінної вхідної структури, а не просто виконувати свою задачу. Як наслідок, навчання глибоких мереж вимагає дуже малих, ретельно налаштованих швидкостей навчання та делікатного ініціалізації ваг; інакше градієнти можуть розірватися, зникнути або весь процес може просто відмовитися збігатися. Більш глибокі мережі страждають більше, оскільки зміни в ранніх шарах ускладнюються та посилюються, коли вони поширюються вперед.

Як працює Batch Normalization

Для кожної міні-парти (mini-batch) під час навчання, Batch Normalization нормалізує активації шару так, щоб вони мали нульове середнє значення та дисперсію рівну одиниці, обчислену на прикладах у цій міні-парті. Оскільки змушування кожної активації до строгого стандартного розподілу може обмежувати те, що мережа може представляти, Batch Normalization застосовує навчений параметр масштабування (гамма) та параметр зсуву (бета) для кожного каналу, дозволяючи мережі відновити оригінальний розподіл, якщо це виявиться оптимальним. Ці два додаткові навчені параметри роблять цю техніку по-справжньому частиною моделі, а не просто фіксованою попередньою обробкою. Під час інференсу (inference) використовуються середні значення та дисперсії, накопичені під час навчання, замість статистичних даних для кожної міні-парти, оскільки окремий тестовий приклад не має міні-парти для нормалізації.

Чому Це Працює Настільки Добре

Підтримуючи стабільний та добре керований діапазон значень вхідних даних шарів, нормалізація батчу дозволяє мережам навчатися з набагато вищими швидкостями навчання без відхилення, що значно прискорює збіжність. Крім того, це робить навчання набагато менш чутливим до конкретного вибору початкової ініціалізації ваг, усуваючи поширене джерело невдалих запусків навчання. Як побічний ефект, шум, що генерується при використанні різних статистик для міні-пакетів на кожному кроці, діє як м'який регуляризатор, тому мережі, які використовують нормалізацію батчу, часто потребують менше застосування dropout, ніж це було б інакше. Разом ці ефекти означають, що глибокі мережі, які раніше займали багато днів для навчання або взагалі не могли навчатися, тепер можуть надійно та швидко навчатися.

Впровадження, обмеження та альтернативи

Нормалізація пакету була прийнята майже одразу в архітектурах комп’ютерного зору, таких як ResNet і Inception, ставши практично стандартною складовою згорткових мереж протягом декількох років після її публікації. Однак, вона має певні обмеження: її статистика залежить від розміру пакету, тому продуктивність погіршується при дуже малих пакетах, і її окрема поведінка під час навчання та висновування може призвести до тонких помилок, якщо не обробляти належним чином. Крім того, вона незграбно вписується в рекурентні та послідовні моделі, де змішування пакетів і довжина послідовностей варіюються. Ці прогалини спонукали до розробки цілого ряду альтернатив, включаючи нормалізацію шарів, яка нормалізує дані для окремого прикладу замість пакету, та групову нормалізацію, яка нормалізує дані в групах каналів, обидві з яких повністю усувають залежність від розміру пакету.

Frequently asked questions

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Batch Normalization: Taming Internal Covariate Shift і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.