Federated Learning та федеративне навчання

🎓 Архітектура

Централізований vs Federated

Централізований: Всі дані на сервері. Навчання на сервері.

Federated: Дані на клієнтах. Навчання локально, тільки оновлення передаються.

Переваги: Privacy, compliance, масштабованість.

FedAvg Algorithm

Крок 1: Сервер розсилає початкову модель клієнтам.

Крок 2: Клієнти навчаються локально на своїх даних.

Крок 3: Клієнти надсилають оновлені weights серверу.

Крок 4: Сервер обчислює weighted average, оновлює модель.

Повторення: Повторюється до збіжності.

🔧 Методи та виклики

Non-IID дані

Проблема: Різні розподіли на клієнтах. Може погіршити навчання.

Рішення: FedProx (proximal term), SCAFFOLD (control variates), personalization.

Communication Efficiency

Проблема: Передача великих моделей дорога.

Рішення: Compression, quantization, structured updates, local training більше.

Privacy Enhancement

Differential Privacy: Додати шум до градієнтів.

Secure Aggregation: Зашифрувати оновлення перед агрегацією.

Homomorphic Encryption: Обчислення на зашифрованих даних.

📚 Практичні приклади

Приклад 1: FedAvg для класифікації

Підготовка: Розподілити дані на клієнтів. Ініціалізувати модель на сервері.

Раунд: Розіслати модель клієнтам. Клієнти навчаються локально.

Агрегація: Зібрати weights, обчислити weighted average.

Повторення: Повторити до збіжності.

Приклад 2: FedProx для Non-IID

Підготовка: Non-IID розподіл даних на клієнтів.

FedProx: Додати proximal term до loss для стабільності.

Навчання: Навчити з FedProx. Порівняти з FedAvg.

© 2025 Науковий Симулятор. Всі права захищені.

Federated Learning: privacy-preserving навчання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.