Spikingowe sieci neuronowe: neuronów mówiących w pulach czasowych, a nie liczbach

Neuron, który spikuje, nie liczba, która zaśmiewa się

Standardowe sieci neuronowe artetyczne przepuszczają ciągłe liczby przez funkcje aktywacji gładkie. Sieć neuronowa spikingowa (SNN) z kolei modeluje neurony znacznie bliższe biologii: każdy element akumuluje wejściowe sygnały jako ciągle się rozwijający napięcie komórkowe i komunikuje się tylko przez wyemitowanie dyskretnych, wszystkie-lub-niczy spików, gdy to napięcie przekroczy próg — informacje są przenoszone w momencie wystąpienia spików, a nie na poziomie ciągłej aktywacji.

Standardowe modelu pracującego dla pojedynczego neurona to neuron integrujacy i odpuszczajacy (LIF) — model zintegrowany z uproszczeniem, który uchwyci kluczowe dynamiczności (integracja, odpuszczenie, próg, reset), bez szczegółów biophysycznych, jak równania ionowych kanałów Hodgkin-Huxley:

τ dV/dt = −(V − V_rest) + R·I(t)

when V ≥ V_threshold:  neuron fires a spike, then V → V_reset (hard reset)

τ      = membrane time constant (leak rate)
V_rest  = resting potential the voltage decays back toward with no input
R·I(t)  = driving current from incoming synaptic spikes

Bilans excitatory i inhibitoryczny

Realne skórne cykle są budowane z dwóch funkcjonalnie różnych populacji. Neuronów excitatory (relezących neurotransmiterzy jak glutamat) napędza potencjał postsynetycznego neuronu w stronę prógów aktywacji; neuronów inhibitory (relezących GABA) odwrotnie przesuwają potencjał w stronę oddaloną od prógów aktywacji. Sieć z nadmiernym, niekontrolowanym aktywizowaniem excitatory może osiągnąć synchronizowane, podobne do ataku seizański odbijanie; jedna z za małym tą aktywnością nie jest w stanie utrzymać żadnej aktywności. Oszacowanie 80:20 excitatory do inhibitorycznego stosunku, widziane w rzeczywistej skórze, i odbitka tego tu, znajduje się w obszarze, gdzie inhibicja aktywnie ogranicza i kształtuje aktywizację, a nie tylko ją tłumia – tworząc wzory odbijania informacyjnie bogate, nierównomierno rozłożone, jak widziane w rzeczywistych nagraniach skórnych, zamiast ciszy lub synchronicznych burz.

STDP: sinapsy uczące się z zaległości, a nie od otrzymywania odpowiedzi

Pozwóenko-zaległościowa plasticzność (STDP) jest liderem biologicznego modelu działania sinapse, który siłuje lub słabi w oparciu jedynie o zależności czasowe między impulsami przedsinaptycznymi a po_sinaptycznymi, odkrytą eksperymentalnie w latach 90. i bezpośrednio podjętą z inspiracji starszego, lośniejszego postulatu Hebba, że komórki, które razem się wywalają, razem się łączą.

jeśli impuls przedsinaptyczny dotrze nieco Zanim impuls po_sinaptyczny (Δt > 0): sinapse siłuje (potencjacja długoterminowa, LTP) "ten wejście wygląda na to, że pomogło wygenerować wyjście — nagradzaj je" jeśli impuls przedsinaptyczny dotrze nieco Po po_sinaptycznym (Δt < 0): sinapse słabi (depresja długoterminowa, LTD) "ten wejście przytrafiło się za późno, aby mogło wygenerować wyjście — kary to" Δw ~ A⁺·exp(−Δt/τ⁺) jeśli Δt > 0, A⁻·exp(Δt/τ⁻) jeśli Δt < 0 To przekształca zaległości czasowe w sygnał uczenia bez konieczności zawsze korzystania z etykiet błędu zewnętrznego ani nauczyciela: sinapse, która wiarygodnie wywal się przed celową komórką, jest nagradzana, a ta, która wywal się po niej, karnie oceniana. Po wielu impulsach sieć organizuje swoje łączenia wokół tych wejść, które są rzeczywiście prognozy dla wywalania dolistującej.

if pre-synaptic spike arrives shortly BEFORE post-synaptic spike (Δt > 0):
    synapse strengthens (long-term potentiation, LTP)
    "this input looks like it helped cause the output — reward it"

if pre-synaptic spike arrives shortly AFTER post-synaptic spike (Δt < 0):
    synapse weakens (long-term depression, LTD)
    "this input arrived too late to have caused the output — penalize it"

Δw ~ A⁺·exp(−Δt/τ⁺)  if Δt > 0,   A⁻·exp(Δt/τ⁻)  if Δt < 0

Czytanie rysunku rasterowego

Standardowym sposobem wizualizacji aktywności spikingowej wielu neuronów jednocześnie jest rysunek rasterowy: jedna linia na każdy neuron, jedno znacznik za każdy potrącenie, czas biegnący poziomo. Zamiast jednej kontynuowanej ścieżki, bezpośrednio odsłania on strukturę na poziomie populacji — pionowy obszar zgodny oznacza, że wiele neuronów spikingło jednocześnie, przekątna plama oznacza, że aktywność propaguje się jak fala przez całą populację, a cisze, równomiernie rozłożone punkty oznaczają, że sieć znajduje się w niezgodnym i asynchronicznym trybie spikingu.

Dlaczego wibracje zamiast ciągłych aktywacji

Wibracje nie są jedynie bardziej biologicznie wiernym szczegółem dodanym do innej, w przeciwnym razie normalnej sieci — zmieniają to, co sieć może obliczyć i jak drogo. Ponieważ neuronn komunikuje się tylko gdy przekroczy próg, większość jednostek w dużych, rzadko aktywnych SNN jest milcząca w danej chwili, co stanowi całą atrakcyjność sprzętowicznej neuromorfologicznej (np. Intel's Loihi lub IBM's TrueNorth): obliczenia i komunikacja mają miejsce tylko gdy wibracja rzeczywiście występuje, więc zużycie energii skaluje się z aktywnością, a nie rozmiarem sieci — co stanowi bardzo inny trade-off w porównaniu do konwencjonalnej sieci neuronowej, która wykonuje gęste mnożenia macierzowe na każdej jednostce na każdym kroku, nawet jeśli wynik tej jednostki okazuje się nieistotny.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz LIF Neuron Network with STDP Plasticity i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.