Wyjaśnienie wyszukiwania losowego: regularyzacja parametrów

Podstawy

Szukanie losowe prosto paralelizuje się; dla dużych skali poszukiwań użyj rozproszonych uruchomników.

from sklearn.model_selection import RandomizedSearchCV
RandomizedSearchCV(model, param_distributions=space, n_iter=50, cv=3)

Jak działa algorytm

Zatrzymaj się w momencie wykorzystania budżetu, detekcji platformy lub przekroczenia przedziałów ufności.

from sklearn.model_selection import RandomizedSearchCV
RandomizedSearchCV(model, space, n_iter=100, cv=3, n_jobs=-1)

Zastosowania w praktyce

Optymalizuj simultanie precyzję, opóźnienie i sprawiedliwość za pomocą metryk granic.

Najlepsze praktyki

Evaluacja

Przykłady obliczeniowe

RandomizedSearchCV(RandomForestClassifier(), space, n_iter=60, cv=5)

Zaimplementowanie

from sklearn.model_selection import RandomizedSearchCV
RandomizedSearchCV(pipe, space, n_iter=80, cv=5, n_jobs=-1)

Matematyka za tą teorią

Prawdopodobieństwo, że przynajmniej jedno próbkowanie spadnie w obszar ε-optimalszy, zwiększa się wraz z 1 − (1 − Vε)^N, gdzie Vε to objętość obszaru.

Z próbek niezależnych i identycznie rozkładanych, najlepsze z N poprawia się subliniowo; gęstwotłowe szumy wymagają wytrzymałości estymatorów.

Logarytmiczne priory są wyrównane do mnożnicowych skali; informatywne priory przyspieszają zbieżność.

Kluczowe parametry

Zaakceptuj warunkowe parametry (opcje specyficzne dla optimizatora) i unikaj nieprawidłowych kombinacji poprzez strukturalne przestrzenie.

Strategia treningowa

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Random Search Explained: Hyperparameter Tuning i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.