Optymalizacja Bayesa dla Dostrajrania Hiperparametrów

Podstawowe zasady

Wykorzystaj q-EI lub fantazyjnie do wyboru partii; preferuj asynchroniczne planery, aby uniknąć opóźnionych wartości.

Zastosuj ziarno z losowych/Sobolowych próbek, używaj skal logarytmicznych dla współczynników i koduj warunki wyraźnie.

Jak działa algorytm

Użyj q-EI lub fantazji; asynchroniczny BO unika nieaktywnych pracowników poprzez proponowanie bez czekania na zakończenie wszystkich ocen.

Zastosowania w świecie rzeczywistym

Ograniczenia dotyczące opóźnień, pamięci i sprawiedliwości; wskaźniki efektywności obejmują dokładność, kalibrację i koszt.

Najlepsze praktyki

Ocena

Przykłady z Rozpracowania

study = optuna.create_study(direction="maximize", sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=200)

Implementacja

study = optuna.create_study(direction="maximize", sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=100)

Matematyka stojąca za tym

Biorąc pod uwagę wcześniejszą f ~ GP(m, k) i szumy obserwacje y = f(x)+ε, średnia i wariancja poświata mają zamknięte formy; jądra (Matern, RBF) kontrolują gładkość.

Modele TPE p(x|y) poprzez gęstości l(x) i g(x) dla dobrych i złych obserwacji, wybierając x do maksymalizacji l(x)/g(x).

EI integruje oczekiwany wzrost ponad poświata; UCB używa średniej +β·std; PI integruje prawdopodobieństwo ogona poza najlepszym f*.

q-EI i fantazjowanie umożliwiają równoległe propozycje poprzez integrację z oczekiwanymi ocenami.

Strategia Trenowania

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz the simulation i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.