Teoria informacji w optymalizacji hiperparametrów |…

Wprowadzenie

Teoria informacji dostarcza potężne narzędzia do optymalizacji hiperparametrów, zwłaszcza w metodach bayesowskich. Entropia i wzajemna informacja pomiarują niepewność i przeprowadzają eksplorację-wykorzystanie.

Entropia

Miara niepewności w rozkładzie:

Dla ciągłych rozkładów:

Wysoka entropia oznacza dużą niepewność, prowadząc do eksploracji:

Mutual Information

Miara informacji udzielonej między zmiennymi:

Miara zysku informacji wynikającego z oceny hiperparametrów:

Gdzie f* to wartość optymalna funkcji.

Funkcje zdobycia teoretyczno-informacyjne

Maksymalizują zmniejszenie entropii lokalizacji optymalnej:

Więcej dozwolona przybliżona aproksymacja:

Maksymalizują zmniejszenie entropii wartości optymalnej:

Zysk informacyjny

Oczekiwany zmniejszenie niepewności:

Metody teoretyczne informacyjne maksymalizują zysk informacyjny w kierunku optimum, dostarczając strategii eksploracji opartych na przesłankach naukowych. Zbalansowują one zmniejszenie niepewności z poprawą wydajności.

Zastosowania

Wybieranie najbardziej informacyjnych próbek:

Optymalizacja lokalizacji pomiarów:

Porównanie z innymi metodami

Metody teoretyczne informacyjne:

Metody informacyjne:

Często zadawane pytania

Czym jest entropia w optymalizacji hiperparametrów?

Entropia pomiaruje niepewność w rozkładach. Wysoka entropia oznacza dużą niepewność, co prowadzi do eksploracji. Redukcja entropii pomiarów informuje o zysku informacyjnym ze względu na oceny.

Czym jest wzajemna informacja?

Wzajemna informacja I(X;Y) = H(X) - H(X|Y) pomierza informację podzieloną między zmiennymi. W optymalizacji pomierza ona zysk informacyjny dotyczącego optimum ze względu na oceny hiperparametrów.

Jak pomaga teoria informacji w optymalizacji?

Teoria informacji dostarcza metody podstawowe do maksymalizacji zysku informacyjnego dotyczącego optimum. Funkcje akquisji oparte na entropii prowadzą do eksploracji bardziej systematycznie niż heurystyki.

Czym jest Entropy Search?

Entropy Search maksymalizuje redukcję entropii lokalizacji optimum: ES(λ) = H(λ*) - H(λ*|y_λ). Szuka on ocen, które najbardziej zmniejszają niepewność dotyczącego lokalizacji optimum.

Czym jest Entropy Search Max-Value?

MES maksymalizuje redukcję entropii wartości optimum: MES(λ) = H(f*) - H(f*|y_λ). Skupia się ono na zbadaniu wartości optymalnej, a nie lokalizacji.

▶ Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Information Theory in Hyperparameter Optimization i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.

▶ Otwórz symulację Information Theory in Hyperparameter Optimization