Динаміка Ланжевіна та генеративні моделі на основі оцінки

Функція оцінювання: компас, що вказує на ймовірні дані

Кожен набір даних, чи то збірка фотографій котів, чи вимірювання форм білків, можна розглядати як зразок, взятий із певної ймовірнісної щільності p(x). Ми рідко знаємо p(x) явно, але ми все ще можемо поставити більш локальне питання: якщо я трохи зміщу точку x, в якому напрямку найшвидше зростає ймовірність? Відповідь дає функція оцінювання, визначена як s(x) = ∇x log p(x), градієнт логарифмічної щільності відносно самих даних (а не відносно будь-яких параметрів). Геометрично, оцінка — це векторне поле, розкладене по всьому простору даних: у кожній точці x воно вказує напрямок найшвидшого зростання ймовірності, а його величина розповідає вам наскільки різко змінюється ймовірність там. Поруч із модою розподілу вектори оцінки збігаються всередину з усіх боків, як вода тече вниз по схилу в миску, тоді як у рідкісних, низькоімовірнісних областях між кластерами поле оцінок несе точки твердо назад до найближчого кластера. Працюючи з логарифмічною щільністю замість щільності самої, це не просто зручність — це також позбавляє від надолужуваного нормалізуючого константи Z, яка робить більшість реальних щільностей p(x) = exp(-E(x))/Z неможливими для обчислення точно, оскільки градієнт відносно x вбиває цю константу повністю.

Динаміка Ланжевіна: Градієнтний підйом плюс доза випадковості

Якщо оцінка завжди спрямовується на вищі ймовірності, чому б не слідувати за нею вгору, як звичайний градієнтний підйом? Оскільки це призведе до того, що кожен початковий пункт буде стиснутий у єдиво висоту піку (моду) розподілу, знищуючи всю різноманітність, яка робить розподіл розподілом. Динаміка Ланжевіна вирішує цю проблему, додаючи відкалібрований шум до кожного кроку, створюючи оновлення правила xt+1 = xt + (ε/2)∇x log p(xt) + √ε · zt, де ε є невеликим розміром кроку, а zt - свіжий витяг із стандартного Гауссового розподілу, zt ~ N(0, I). Перший член є звичайним орієнтовним потоком, що тягне точку до областей з більшою ймовірністю; другий член - термін теплового типу, який постійно відкидає точку вбік. Це точна дискретизована форма стохастичної диференціальної рівняння, спочатку використаної Паулом Ланжевіном у 1908 році для опису пилкової частинки, що штовхається молекулами води (Броунівський рух), а також піддається зовнішньому впливу. Чудова математична гарантія, зафіксована рівнянням Фоккера-Планка, полягає в тому, що коли ε → 0 і кількість кроків зростає, розподіл xt точно збігається з p(x) — не до його моди, а до повної, правильно важеної форми розподілу, з щільними областями, відвідуваними пропорційно часто, та рідкими областями, які відвідуються рідко. Шум - це не помилка, яку терпляче толерують для дослідження; це математично необхідний інгредієнт, який перетворює оптимізатор на зразок.

Навчання без оцінки нормалізатора

Динаміка Ланжевена потребує оцінки показника (score) в кожній точці, але для реальних даних, таких як зображення, p(x) ніколи не може бути виражений у замкнутому вигляді. Елегантне рішення – це збіг однакових показників (score matching): навчити нейронну мережу sθ(x) безпосередньо наближати поле показника, не оцінюючи p(x) або його нормалізуючий константа Z. Зрозумілий та естетичний об'єктив мінімізації очікуваної квадратної помилки Ep(x)[||sθ(x) - ∇x log p(x)||²], який все ще посилається на невідоме ∇x log p(x), є непридатним. Результат оригінального збігу показників Хайрінена показує, що цей об'єктив еквівалентний (з урахуванням постійної величини, незалежної від θ) до Ep(x)[tr(∇xsθ(x)) + ½||sθ(x)||²], який включає лише Jacobian trace та норму мережі власного, обидва обчислюються з вибірок. У практиці сучасні системи віддають перевагу навіть простішому варіанту – шумоподавленню показника: навмисно спотворити чисте джерело даних x із використанням гаусіанського шуму, щоб отримати x̃ = x + σz, і навчити мережу передбачати sθ(x̃) ≈ -z/σ, що можна показати як еквівалентне справжньому показнику спотвореного розподілу. Це перетворює оцінку показника на звичайну проблему шумоподавлення, яку можна вирішити за допомогою простого регресійного навчання, обійшовши нормалізуючий константний член повністю і роблячи її тривіальною для навчання у великих масштабах.

Багатомасштабні шуми: математична основа моделей дифузії

Один фіксований рівень шуму для динаміки Лангевина стикається з труднощами в високовимірних просторах: реальні дані, такі як зображення, займають вузький мантійний простір у величезному піксельному просторі, тому справна щільність даних майже нульова практично всюди, і оцінка оцінки погано та хаотично шумна далеко від даних. Виправлення, запропоноване Song та Ermon, полягає в навчанні мережі оцінок на основі оцінки через послідовність різних рівнів шуму σ1 > σ2 > ... > σL, від дуже розмитих і легких для оцінки вниз до майже чистих і точних. Зразки потім отримуються за допомогою annealed динаміки Лангевіна: починається з чистого шуму, запускаються кілька кроків динаміки Лангевіна на найбільшому σ1, щоб зробити грубі, впевнені просування по відредагованій місцевості, а потім відбувається поступове зниження до σ2, потім σ3 і так далі, кожен етап уточнює деталі, поки раніше виконані етапи приблизно розміщують зразок у правильному районі. Ця схема анілювання математично така сама, як і в основі денозних дифузійних протопобічних моделей (DDPM): прямий процес поступово додає гауссівський шум до даних протягом багатьох кроків часу до тих пір, поки він стає невідрізним від чистого шуму, а навчена зворотна процедура видаляє цей шум крок за кроком. Обидва ці формулювання збігаються з об'єктом у часі, стохастичною диференціальною рівнянням, xt+1 = xt + (εt/2)∫x log pt(xt) + √εt ⋅ zt, запущена назад від шуму до даних за розкладом зменшення рівня шуму σt. Кожна сучасна модель дифузії, яка генерує зображення, аудіо або 3D-об'єкти, в своїй математичній основі насправді є цим: нейронний оцінювач оцінок у поєднанні з гауссівським шумом та анільованими кроками динаміки Лангевіна.

Чому це важливо

Це може здатися неінтуїтивним, що навмисне спотворювання пошуку за допомогою випадковості робить його кращим, а не гіршим, але шум вирішує дві різні проблеми одночасно. По-перше, це дозволяє семплеру представляти весь розподіл замість того, щоб згортатися в оцінку одного значення: без терміну √ε · zt кожна траєкторія, що починається близько до однієї й тієї ж області приваблення, буде збігатися з цією областю, і різноманітність вихідних даних — різні обличчя, різні коти, різні правдоподібні завершення — зникне. По-друге, у багатомасштабному середовищі впровадження шуму під час навчання (наприклад, шумоподавлення відповідності оцінці) змушує мережу навчатися гладкому, добре поводячомуся полю оцінок навіть у регіонах, де реальні дані мізерні, оскільки шумні версії точок даних розповсюджуються, щоб охопити простір, який залишають порожнім чисті дані. Це саме те, чому семплер на основі Langevin може почати з повністю випадкового зображення, блукати через початково неінформативне поле оцінок і все ще надійно досягати чіткого, узгодженого зразка: графік анілювання гарантує існування корисного поля оцінок на кожному етапі шляху, від найгрубішого рівня шуму до найдрібнішого.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Langevin Dynamics and Score-Based Generative Models і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.