Optymalizacja Architektury Sieci Uczonych

Podstawowy pomysł: wyjaśnienie uczenia głębokiego

Uczenie głębokie polega na reprezentacji danych w warstwowych przestrzeniach cech, co pozwala systemowi na samodzielne nauczanie się skomplikowanych wzorców. Te warstwy kolejno wydobywają wyższe poziomy cech z oryginalnych danych – myślimy o tym jak budowaniu piramidy zrozumienia.

Podstawowo mówiąc, sieci neuronowe głębokie powtarzają sposób przetwarzania informacji w mózgu człowieka, od prostych wejść przez stopniowe kombinowanie ich do bardziej abstrakcyjnych reprezentacji.

Eksplodowanie uczenia głębokiego (2006-2012): powstanie sieci konwolucyjnych i rekurencyjnych

Rozejrzały się lata 2000. za pojawieniem się „głębokich” sieci neuronowych – tych, które zawierają wiele warstw ukrytych – głównie z powodu postępu w mocy obliczeniowej, szczególnie GPU. Te mocne procesory umożliwiały trening znacznie większych i bardziej skomplikowanych modeli.

Sieci neuronowe konwolucyjne (CNN) i rekurencyjne (RNN) zacząć nabierać popularności, przekształcając pola takie jak rozpoznawanie obrazów i przetwarzanie języka naturalnego.

Skalowanie Temperatury: Parametr ‘temperatura’ jest często wprowadzany do kontrolowania losowości prognozy.

Podczas treningu głębokich sieci neuronowych, zwłaszcza tych używających spadku stochastycznego gradientu, model może czasami stać się zbyt pewny swoich prognoz. Skalowanie temperatury wprowadza parametr ‘temperatura’, który dostosowuje prawdopodobieństwa wyjściowe funkcji softmax.

To pozwala na bardziej przystosowane eksplorowanie przestrzeni rozwiązań i często prowadzi do poprawionych prestawu i zdolności generalizacji.

Często zadawane pytania