Reinforcement Learning: Train an Agent to Master Complex Tasks

Podstawowa Koncepcja: Dane Pozostają Lokalnie

W konwencjonalnym uczeniu maszynowym zbieramy wszystkie dane u wszystkich osób do jednego dużego magazynu i trenujemy na nich tam. Uczenie federacyjne odwraca to postępowanie: surowe dane nigdy nie są przenoszone. Zamiast tego, współdzielony model jest wysyłany do miejsc, gdzie dane już istnieją – serwerów szpitala, czujników fabryki lub milionów indywidualnych telefonów, a każdy z tych obiektów trenuje ten model lokalnie na swoich przykładach. Tylko wynikowe aktualizacje modelu, czyli numeryczne korekty wag i gradientów, wracają do serwera koordynującego. Serwer nigdy nie widzi pojedynczej karty pacjenta, prywatnego wiadomości ani zdjęcia. Widzi jedynie skompresowane podsumowania matematyczne tego, czego każde urządzenie nauczyło się, które następnie są łączone. W rezultacie powstaje model, który skutecznie nauczył się z danych wszystkich osób bez konieczności gromadzenia tych danych w jednym miejscu.

Anatomia Jednej Rundy Treningowej

Federated learning odbywa się w powtarzających się rundach, każdej z czterech odrębnych faz. Po pierwsze, dystrybucja: serwer wysyła aktualne wagi globalnego modelu do wybranej grupy klientów. Po drugie, trening lokalny: każdy klient uruchamia kilka kroków gradientu obniżającego używając jedynie własnego lokalnego zbioru danych, popychając swoją prywatną kopię modelu w kierunku lepszej wydajności na jego przykładach. Po trzecie, przesyłanie: klienci wysyłają swoje zaktualizowane wagi lub tylko różnice względem oryginalnej wersji z powrotem do serwera. Po czwarte, agregacja: serwer łączy wszystkie otrzymane aktualizacje, zazwyczaj poprzez średnią ważoną opartą na ilości danych wykorzystanych przez każdego klienta, co prowadzi do powstania nowego i ulepszonego globalnego modelu. Ten ulepszony model staje się punktem wyjścia dla następnej rundy, a cykl powtarza się, stopniowo zbliżając się do modelu, który dobrze radzi sobie w całej federacji.

Dlaczego to ma znaczenie: Prywatność i Przepustowość

Uczenie federacyjne istnieje, ponieważ dwa ograniczenia często uniemożliwiają lub stanowią niepożądane centralizowanie danych. Po pierwsze, kwestie prywatności i regulacje prawne: szpitale nie mogą swobodnie eksportować kartotek pacjentów, a użytkownicy nie chcą, aby ich wpisy, nagrania głosowe lub zdjęcia były masowo przesyłane do serwerów firmy. Dzięki przechowywaniu surowych danych na urządzeniu i udostępnianiu jedynie aktualizacji modelu, uczenie federacyjne umożliwia trenowanie użytecznych modeli, takich jak sugestie klawiatury w telefonie komórkowym, oparte na rzeczywistych wzorcach użytkowania, a wrażliwe treści nigdy nie opuszczają urządzenia. Po drugie, ograniczenia związane z kosztami komunikacji: surowe dane od milionów urządzeń byłyby ogromne do przesyłania i przechowywania, podczas gdy kompaktowe aktualizacje modelu są stosunkowo małe i mogą być efektywnie wysyłane, nawet w przypadku słabych sieci komórkowych. Razem, te zalety uczyniły uczenie federacyjne podstawą rzeczywistych produktów, takich jak modele sugestii klawiatury oraz wspólne badania obrazowania medycznego w szpitalach.

Trudne Zagadnienia: Dane Niezależnie i Nieidentycznie Rozłożone (NII) oraz Opóźnione Klientów

Uczenie federacyjne jest trudniejsze niż zwykłe rozproszone szkolenie prowadzone w jednym centrum danych, gdzie każdy pracownik ma szybkie i niezawodne połączenia sieciowe i dzieli się przybliżoną częścią przetasowanego zbioru danych. Rzeczywiste klientów jest trudno kontrolować. Ich dane zazwyczaj nie są niezależnie i identycznie rozłożone (NII), co oznacza, że dane właściciela jednego telefonu to głównie wpisy w języku francuskim, a u innego zwykle robią zdjęcia kotom – każdy lokalny zbiór danych odzwierciedla więc inny, skośny fragment świata. Uśrednianie modeli wytrenowanych na tak zróżnicowanych danych może popychać globalny model w sprzecznych kierunkach i spowalniać konwergencję. Klienci również różnią się znacznie pod względem mocy obliczeniowej i połączeń – niektórzy kończą rundę szkolenia w kilka sekund, a inni opóźniają się lub całkowicie wyłączają się w połowie rundy, co nazywa się efektem opóźnionych klientów. Praktyczne systemy uczenia federacyjnego muszą tolerować te awarie, ostrożnie ważone są wkład, a czasami czekają tylko na wystarczająco szybką podgrupę klientów zamiast całej floty.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Federated Learning: Train Without Sharing Data i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.