Рекурентна нейронна мережа рівня символів для класифікації походження імен

Чому читати літери замість слів?

Більшість класифікаторів тексту починають з побудови словника цілих слів, але прізвища майже миттєво руйнують цей підхід. Існує практично нескінченна кількість можливих імен, і будь-який фіксований список слів постійно стикається з іменами, яких воно ніколи не бачило, змушуючи модель повертатися до загального токена «невідоме слово», який втрачає всю корисну інформацію. Модель на рівні символів повністю обходить це: замість словника кількох сотень тисяч слів, їй потрібен лише словник десятків літер, і будь-яке ім’я, незалежно від того, наскільки рідкісне або нове воно, все ще може бути розказане за допомогою цього невеликого фіксованого алфавіту. Це робить модель стійкою до нових імен, помилок друку та транслітерацій, і змушує мережу вивчати щось більш фундаментальне, ніж запам’ятовування цілих шаблонів слів: статистичну текстуру правопису самого себе.

Покроково: як комірка RNN оновлює свій прихований стан

Проста рекурентна нейронна мережа зберігає підсумок усього, що вона прочитала до цього моменту, у вигляді вектора, який називається прихованим станом. На кожному кроці вона приймає два вхідні дані: кодування поточного символу (зазвичай вектор-одиночка, що позначає, яка літера алфавіту він є) та прихований стан, залишений з попереднього символу. Ці дані об'єднуються за допомогою невеликої кількості навчених ваг і стискаються за допомогою нелінійності, наприклад tanh, утворюючи новий прихований стан, який замінює старий. Ключовим є те, що однакові ваги використовуються в кожній позиції імені, тому мережа застосовує однаковий принцип оновлення, незалежно від того, чи розглядає вона перший символ або п'ятнадцятий. Введення імені, наприклад, 'Kowalski', у цю комірку означає виконання цього оновлення шість, сім або вісім разів поспіль, кожного разу вносячи інформацію з одного символу до накопиченого прихованого стану.

Остаток прихованого стану як відбиток всієї назви

Після обробки останнього символу, стан прихованих значень більше не стосується жодного окремого літери; це стислий підсумок усього прочитаного мережею ряду, сформований під час навчання для збереження будь-якої корисної інформації для поставленої задачі. Для перетворення цього на прогнозування мови, цей фінальний вектор передається через ще один невеликий шар, зазвичай лінійну трансформацію, за якою слідує softmax, який перетворює його на розподіл ймовірностей над кандидатами щодо походження, такими як російська, італійська, японська або шотландська. Фактично, рекурентна комірка діє як видобувач ознак, який стискає будь-який за довжиною рядок до фіксованого розміру вектора, а остання шар виконує класифікацію, читаючи цей вектор і приймаючи рішення. Навчання коригує обидва компоненти спільно, використовуючи велику кількість мічених прикладів імен та їх справжнього походження, щоб будь-яка інформація, що в кінцевому підсумку закодована у стані прихованих значень, була саме тією інформацією, яку потребує класифікатор.

Чому це працює так добре для імен зокрема

Різні мови залишають характерні статистичні сліди в тому, як вони пишуть слова, і значна частина цієї інформації міститься в коротких послідовностях символів, а не у значенні цілого слова. Польські прізвища часто закінчуються на '-ski' або '-cki', російські – на '-ov' або '-ova', вьетнамські імена віддають перевагу коротким складів з певними диграфами, а ірландські часто починаються з 'Mc' або апострофом-O. Модель на основі символів, що використовує рекурентну нейронну мережу, не потребує явного введення цих правил: оскільки вона обробляє літери послідовно та накопичує стан, вона природним чином стає чутливою до повторюваних комбінацій літер і їх положення, особливо в кінці імені, де часто живуть найбільш визначальні суфікси. Це саме той тип завдання, де статистика n-грамів робить більшість роботи, і тому навіть відносно невелика, проста рекурентна мережа може досягти гідної точності при класифікації походження імен.

Крок до мереж LSTM та GRU

Простий RNN-ячейка, описана тут, є елегантною, але має добре відому слабкість: для довгих послідовностей градієнти під час навчання схиляються до зменшення або вибуху при зворотньому поширенні через багато повторюваних часових кроків, що ускладнює мережі зберігати інформацію про ранні символи до того, як вони досягнуть кінця імені. Для коротких прізвищ це рідко викликає серйозні проблеми, що й пояснює, чому класифікація імен є таким популярним вступним прикладом. Однак ця ж обмеження стає реальним бар’єром для довгих послідовностей, таких як повні речення або абзаци. Саме цю проблему вирішували архітектури з клапанами, такі як LSTM та GRU, додавши навчені клапани, які дозволяють мережі вибірково зберігати або відкидати інформацію на значно більших інтервалах. Розуміння простого RNN-ячейки символьного рівня робить набагато легшим розуміння того, що саме виправляють ці додаткові клапани.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Character-Level RNN for Name Origin Classification і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.