Механізми уваги

Проблема вузького місця

Традиційні рекурентні нейронні мережі (RNN), такі як LSTM та GRU, мали труднощі з довгими послідовностями через проблему ‘вузького місця’. Уся вхідна послідовність стискалася у вектор контексту фіксованого розміру, що неминуче призводило до втрати інформації про раніші частини послідовності.

Представляємо Увагу: Ваговий Контекст

Механізми уваги вирішують цю проблему, дозволяючи моделі безпосередньо звертатися до всіх попередніх прихованих станів під час обробки нового вхідного сигналу. Замість єдичного вектора контексту, увага призначає вагу кожній частині послідовності вхідних даних на основі її релевантності.

α(i) = softmax(q(i); h_1, ..., h_T)

жива демонстрація · пов'язана симуляція● LIVE

Самоувага: Внутрішньопослідовні Зв’язки

Самоувага, популяризована архітектурою Transformer, обчислює оцінки уваги всередині однієї послідовності. Кожен елемент звертає увагу на всі інші елементи в тій же послідовності, вивчаючи внутрішні залежності та зв’язки.

Attention(Q, K, V) = softmax((QK^T)/sqrt(d_k))V

Перехресна увага: Зв’язування послідовностей

Перехресна увага розширює механізм самої уваги на декілька послідовностей. Наприклад, у машинному перекладі одна послідовність (кодувальник) звертає увагу на іншу (декодувальник), дозволяючи декодувальнику зосереджуватися на найбільш важливих частинах вихідного речення.

Frequently asked questions

Що таке ‘запит’, ‘ключ’ і ‘значення’ в механізмі уваги?

Це навчені проєкції послідовності вхідних даних. Запит представляє те, що ви шукаєте, ключ – те, що доступно, а значення містить фактичну інформацію.

Чому softmax використовується в механізмі уваги?

Softmax перетворює оцінки уваги на ймовірності, забезпечуючи їх сумування до 1 та представляючи розподіл по послідовності вхідних даних.

Які реальні застосування механізмів уваги?

Увага широко використовується в машинному перекладі, генерації підписів до зображень, розпізнаванні мовлення та багатьох інших областях, де обробка послідовних даних є критично важливою.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте SPH Fluid і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.

▶ Відкрити симуляцію SPH Fluid

Розшифрування фокусу: Вступ до механізмів уваги