Послідовність-до-послідовності переклад з механізмом уваги

Дві послідовності, одна модель

Машинний переклад, узагальнення та транскрипція мовлення мають дивний атрибут: обидва вхідні та вихідні дані є змінною довжиною і рідко відповідають один одному. П’ятисловельне англійське речення може стати семислововим французьким, з іншими словами, слова розташовані абсолютно по-іншому. Класичні нейронні мережі очікують на вхідні та вихідні дані фіксованого розміру, тому вони не можуть обробляти це безпосередньо. Архітектура «послідовність до послідовності» (seq2seq), запропонована Sutskeverом, Vinyalsом і Le у 2014 році та незалежно Cho et al. того ж року, вирішує цю проблему шляхом розподілу роботи між двома рекурентними нейронними мережами: кодувачем, який читає всю вихідну послідовність і стискає її в вектор фіксованого розміру, та декодером, який бере цей вектор і генерує цільову послідовність по одному токену за раз. Оскільки обидва компоненти навчаються спільно, безперервно, мережа вивчає власне внутрішнє представлення значення без необхідності ручної розробки правил перекладу або таблиць вирівнювання.

Кодувальник: читання та стиснення

Кодувальник зазвичай є RNN, LSTM або GRU, який обробляє речення-джерело слово за словом, оновлюючи свій прихований стан на кожному кроці, щоб відображати все, що було побачено до цього моменту. Після споживання останнім словом останній прихований стан кодувальника розглядається як підсумок усього речення, часто називається вектором контексту. Цей єдиний вектор, зазвичай лише кілька сотень чисел, має містити значення, структуру та всі деталі речення, які необхідні декодеру для його відтворення іншою мовою. Це велике завдання для одного фіксованого вектора, і саме тут ранні моделі seq2seq почали мати труднощі. Чим довше речення-джерело, тим більше інформації повинен вмістити кодувальник у контейнер, який не збільшується, тому раніше слова схильні до переписуватися або розмиватися до того, як прийде останнє слово, ніби намагатися підсумувати цілу новели в одному туіттері, незалежно від довжини новели.

Декодер: генерація одного токена за раз

Декодер також є RNN, ініціалізований останнім прихованим станом енкодера, який генерує цільове речення по одному токену на раз. На кожному кроці він використовує свій попередній прихований стан та попередньо згенероване слово як вхідні дані, виробляє розподіл ймовірностей над словником цільової мови, і обирає найбільш ймовірне наступне слово, або відбирає з розподілу під час більш дослідницької генерації. Це обране слово подається назад як вхід для наступного кроку, щоб декодер будував послідовність виводу авторегресивно, слово за словом, доки він не видасть спеціального токена кінця речення. Під час навчання цей процес керується методом "вчителя", де справді попереднє цільове слово подається замість припущення моделі, що стабілізує навчання; під час висновування декодер повинен покладатися на власні прогнози, тому ранні помилки можуть іноді переростати в безладне речення.

Увага: припиняйте стискати, починайте дивитися назад

Фіксований розмір вектора контексту був «Achilles’ heel» архітектури seq2seq, і папір Бахданау, Чо та Бенґіо 2014 року виправив це за допомогою ідеї, яка тепер називається увагою. Замість того, щоб змушувати декодер покладатися лише на один стиснутий підсумок, увага зберігає кожен прихований стан, який створив енкодер, один на кожне джерело, і дозволяє декодеру консультуватися над ними на кожному кроці декодування. На кожному кроці декодер обчислює бал відповідності між поточним станом і кожним прихованим станом енкодера, вимірюючи, наскільки актуальним є це джерело слова зараз. Ці оцінки передаються через softmax, щоб стати вагами уваги, які сумують до одного, і приховані стани об'єднуються у зважену суму, названу контекстом, за допомогою цих ваг. Ефективно декодер отримує можливість повернутися назад і запитати «Які джерела слів найважливіші для слова, яке я зараз збираюся створити», замість того, щоб довіряти одному вектору, який правильно запам’ятав все. Саме тому ваги уваги, коли побудовані як теплова карта, часто простежують приблизно діагональну лінію для мов із подібним порядком слів або чітко вигнуту лінію для мов, які переставляють фрази, наприклад, коли прикметники рухаються перед чи після іменника.

Від уваги до Трансформера

Увага спочатку прикріплювалася до РНМ як корисний додаток, але дослідники швидко помітили щось більш радикальне: сама рекурентність – послідовна петля, яка читає одне слово за іншим – не була тим, що робить увагу корисною. Важливим було здатність безпосередньо пов’язувати будь-яке положення в послідовності з будь-яким іншим положенням. У 2017 році Васивні та інші взяли це спостереження до логічного висновку у статті «Увага – це все, що вам потрібно», повністю відмовившись від рекурентності та побудувавши модель, Трансформер, лише з шарів уваги та прямого поширення. Видалення залежності РНМ крок за кроком означало, що кожне положення в послідовності могло бути оброблено паралельно під час навчання, а не по одному токену, що було величезним проривом у швидкості на сучасних GPU та TPU. Кожна велика мовна модель, яка з’явилася після цього, від BERT до GPT і сучасні передові моделі, безпосередньо походить від цієї інсайту, роблячи скромний механізм уваги encoder-decoder з машинного перекладу однією з найзначніших ідей в історії глибокого навчання.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Sequence-to-Sequence Translation with Attention і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.