Рішення, що створює силу: Реакція сили

Проблема вузького місця

Традиційні рекурентні нейронні мережі (RNN), такі як LSTM та GRU, мали труднощі з довгими послідовностями через проблему ‘вузького місця’. Уся вхідна послідовність стискалася у вектор контексту фіксованого розміру, що неминуче призводило до втрати інформації про раніші частини послідовності.

Представляємо Увагу: Ваговий Контекст

Механізми уваги вирішують цю проблему, дозволяючи моделі безпосередньо звертатися до всіх попередніх прихованих станів під час обробки нового вхідного сигналу. Замість єдичного вектора контексту, увага призначає вагу кожній частині послідовності вхідних даних на основі її релевантності.

α(i) = softmax(q(i); h_1, ..., h_T)

Самоувага: Внутрішньопослідовні Зв’язки

Самоувага, популяризована архітектурою Transformer, обчислює оцінки уваги всередині однієї послідовності. Кожен елемент звертає увагу на всі інші елементи в тій же послідовності, вивчаючи внутрішні залежності та зв’язки.

Attention(Q, K, V) = softmax((QK^T)/sqrt(d_k))V

Перехресна увага: Зв’язування послідовностей

Перехресна увага розширює механізм самої уваги на декілька послідовностей. Наприклад, у машинному перекладі одна послідовність (кодувальник) звертає увагу на іншу (декодувальник), дозволяючи декодувальнику зосереджуватися на найбільш важливих частинах вихідного речення.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте SPH Fluid і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.