Federated Learning: Train Without Sharing Data

Основна ідея: Дані залишаються на місці

У звичайному машинному навчанні всі дані збираються в одну велику базу даних, де й відбувається навчання. Federated learning змінює цей підхід: необроблені дані ніколи не покидають своїх власників. Замість цього спільний модель передається на ті самі місця, де зберігаються дані – сервери лікарні, датчики на заводі або мільйони індивідуальних телефонів, і кожен з цих об’єктів навчає цей модель локально, використовуючи власні приклади. Лише результати навчання – чисельні корективи ваг та градієнтів – повертаються до координаційного сервера. Сервер ніколи не бачить жодного медичного запису, особистого повідомлення або фотографії. Він бачить лише стислий математичний опис того, що навчився кожен клієнт, який потім об’єднується сервером. В результаті отримують модель, яка ефективно навчилася на даних усіх користувачів, не збираючи їх в одне місце.

Анатомія одного етапу навчання

Навчання за допомогою федеративного навчання відбувається у повторюваних циклах, кожен з яких складається з чотирьох чітких фаз. По-перше, трансляція: сервер надсилає поточні ваги глобальної моделі обраній групі клієнтів. По-друге, локальне навчання: кожен клієнт виконує кілька кроків градієнтного спуску, використовуючи лише власний локальний набір даних, що призводить до коригування його власного копію моделі для покращення її продуктивності на власних прикладах. По-третє, завантаження: клієнти надсилають оновлені ваги або лише відмінності від початкових значень назад на сервер. По-четверте, агрегація: сервер об'єднує отримані оновлення, зазвичай шляхом зваженого середнього, що базується на кількості даних, використаних кожним клієнтом, створюючи нову та покращену глобальну модель. Ця покращена модель стає відправною точкою для наступного циклу, і цикл повторюється, поступово збігаючись до моделі, яка добре працює у всій федерації.

Чому це важливо: Приватність та пропускна здатність

Федеральне навчання існує тому, що дві обмеження часто роблять централізацію даних неможливою або небажаною. Перше – це приватність та регулювання: лікарні не можуть вільно експортувати записи пацієнтів, а користувачам не хочеться завантажувати всі свої набори клавіш, голосові записунки чи фотографії на сервери компанії. Зберігаючи необроблені дані на пристрої та обмінюючись лише оновленнями моделі, федеральне навчання дозволяє навчати корисні моделі, такі як прогностичний автозаповнювач на телефоні, на основі реальних звичок використання, не передаючи чутливу інформацію. Друге обмеження – це вартість зв’язку: необроблені дані від мільйонів пристроїв були б величезними для передачі та зберігання, тоді як компактні оновлення моделі значно менші і можуть надсилатися ефективно, навіть через нестабільні мобільні мережі. Разом ці переваги зробили федеральне навчання основою реальних продуктів, таких як прогностичні автозаповщувачі та спільних досліджень у галузі медичної візуалізації між лікарнями.

Важкі моменти: Не-IID дані та відстаючі клієнти

Федеративне навчання складніше, ніж звичайне розподілене навчання, яке проводиться всередині одного датацентру, де кожен працівник має швидке та надійне мережеве з’єднання та ділиться приблизно однаковою частиною перемішаного набору даних. Реальні клієнти часто бувають непередбачуваними. Їхні дані зазвичай не є незалежними та ідентично розподіленими (не-IID): дані одного власника телефону переважно містять французькі тексти, а іншого – фотографії котів, тому кожен локальний набір даних відображає різний, спотворений відрізок світу. Усереднення моделей, навчених на таких розбіжних даних, може тягнути глобальну модель у протилежні напрямки та уповільнювати збіжність. Клієнти також значно різняться за обчислювальною потужністю та зв’язком: деякі завершують один етап навчання за секунди, а інші відстають або повністю виходять із системи посередині етапу, явище, яке називається ефектом відстаючого клієнта. Практичні федеративні системи повинні враховувати ці відключення, обережно вагувати внески та іноді чекати лише на підмножину швидких клієнтів замість всього флоту.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Federated Learning: Train Without Sharing Data і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.