Pamięć nie jest fotografią
Pamięć nie jest przechowywana jako stały wzór w żadnym miejscu mózgu — to wspólne siła miliarda modyfikowalnych połączeń. Każdy sinapsa może być zwiększona lub zmniejszona według zasad wykształconych przez ewolucję, a najprostsza z tych zasad datuje się od 1949 roku, kiedy kanadyjski psycholog Donald Hebb napisał: „Gdy axon komórki A jest wystarczająco blisko do podrywania komórki B i powtarzalnie lub trwało uczestniczy w jej wywoływaniu, zwracany jest pewien proces rozrostu lub metabolicznego zmiany… co prowadzi do zwiększenia skuteczności… A". To postulat Hebb'a, zwykle skrócony do „neurony, które razem się podrywają, razem się łączą”.
W kontynuowanej formie, dwij/dt = η · yi · xj — ale wprost zastosowanie tej zasady jest niestabilne: ponieważ aktywność dodatnia zawsze zwiększa wagę dodatnią, tworzy ona pętlę odwrotnego przepływu informacji bez limitu. Każda praktyczna implementacja uczenia Hebbowskiego dodaje jakiś rodzaj normalizacji lub zanikania. Przepis_covariance Sejnowskiego z 1977 roku — używający odchyleń od średniej aktywności zamiast niewiadomych skutków podrywu — był wcześniejszym rozwiązaniem, a konceptualnie przewiduje analizę głównych komponentów w sieciach neuronowych.
LTP i LTD: dowód eksperymentalny
Ideja Heeba pozostawała teoretyczna aż do 1973 roku, kiedy Timothy Bliss i Terje Lømo odkryli długotrwałą potęgowanie (LTP) w hipokampie żaby: krótki impuls wysokiej częstotliwości stymulacji powodował utrzymywaną, czasem trwającą do końca życia, zwiększenie efektywności sinaptycznej. Komplementarna faza, długotrwałe dezpotencja (LTD), została potwierdzona w 1982 roku przez Masao Ito w cerebelu. Oba procesy są teraz zrozumiane dzięki receptorowi NMDA, detektorowi incydentów otwierającemu się tylko wtedy, gdy relaks glutamat presynaptycznego i depolaryzacja postsynaptyczna zdarzyły się jednocześnie, pozwalając na przepływ Ca²⁺ i aktywację kinaz, które wprowadzają receptory AMPA (LTP) lub fosfatazy, które je usuwają (LTD). Kierunek zmiany zależy od wielkości i trwania sygnału Ca²⁺, a nie tylko jego obecności.
Zależność plasticywności od czasu sygnalizacji neuronowej (STDP)
Stimulacja tetaniczna jest konvencją farmakologiczną, a nie zachowaniem neuronów podczas normalnej aktywności. Bardziej fisiologicznie znaczący pytanie, na które odpowiedzieli Markram i col. (1997) oraz Bi & Poo (1998), to jak dokładny porządkowanie w skali milisekund pojedynczych sygnalizacji decyduje o plasticywności: zależność plasticywności od czasu sygnalizacji (STDP). Jeśli impuls przewodniczyjący (presynaptyczny) następuje przed impulsem docelowym (postsynaptycznym) (Δt = tpost − tpre > 0), sinapsa potencjalicji; jeśli następuje po nim (Δt < 0), sinapsa depresji. Klasyka asymetrycznego okna uczenia wykładniczego ma postać:
Δw(Δt) = A₊ · exp(−Δt/τ₊) dla Δt > 0 (LTP) Δw(Δt) = −A₋ · exp(+Δt/τ₋) dla Δt < 0 Ta asymetria czasowa — sinapsa jest potęgowana tylko wtedy, gdy mógłaby być odpowiedzialna za sygnalizację docelową — często nazywana jest zasadą Hebbowską czasową. Efektywne implementacje unikają przechowywania oryginalnych czasów sygnalizacji, korzystając z śladów elegancji wykładniczo zmierzających dla aktywności presynaptycznej i postsynaptycznej, które są aktualizowane na każdym impulcie, co jest sposobem działania STDP online w symulacjach spikowych sieci czasu rzeczywistego.
Δw(Δt) = A₊ · exp(−Δt/τ₊) if Δt > 0 (LTP) Δw(Δt) = −A₋ · exp(+Δt/τ₋) if Δt < 0 (LTD) // τ₊ ≈ τ₋ ≈ 20 ms · A₋ slightly exceeds A₊ (net depression bias)
Przesuwny próg BCM
Prawa czysto hebbowskie i STDP nadal potrzebują stabilizatora. W 1982 roku Bienenstock, Cooper i Munro zaproponowali zasady BCM, które wprowadzają przesuwny próg modyfikacji θM oddzielający LTP od LTD: dwi/dt = η·xi·y·(y − θM), gdzie sam θM wzrasta superliniowo ze średnią aktywnością postsynetyczną. Neuron chory na niedobór aktywności widzi, że jego próg spada, co ułatwia potencjację; nadaktywany neuron widzi, że jego próg wzrasta, co przyczynia się do depresji. Ta jedna mekanizm daje stabilność, wyborowość dla zgodnych wejść i konkurencję między sinapsami, a także poprawnie przewidziała, jak odrzucenie jednego oku zmienia kolumny dominacji wzroku w cortex wzrokowym.
Homeostazja i rozkład wagi
Mniejszy, dopełniający mechanizm — skalowanie sinaptyczne (Turrigiano et al., 1998) — mnożystwem reskaluje wszystkie sinapsy neuronu w ciągu godzin lub dni, zachowując względny wzór wag ( pamiątkę ), podczas gdy wracają do średniej szybkości odczynu neuronu do docelowej wartości. Sieci ewoluujące pod wpływem STDP przez wystarczającą długość czasu tencerują w bimodalny rozkład wag — sinapsy klastrowane są blisko zera lub blisko maksimum wmax, zamiast osiągać ciągłość — co jest myślimy jako maksymalizującym pojemność przechowywania i pasującym do obserwowanych w granicach jednostek dendrytycznych potencjacji all-or-none. Wspólnie, szybkie STDP specyficzne dla sinapsy i wolne skalowanie globalne homeostatyczne tworzą system na dwa poziomy czasu, który może uczyć się konkretnych wzorców bez utraty ogólnego stabilizowania.
Często zadawane pytania
Jak wygląda zasada Hebb'a i dlaczego sama w sobie jest niestabilna?
Zasada Hebb'a mówi, że dw/dt = η · y_i · x_j — sinapsa staje się silniejsza, gdy neuron przesynaptyczny i postsynaptyczny są aktywne jednocześnie. Bez modyfikacji jest niestabilna: dodatnia aktywność zawsze zwiększa wagi dodatnie, tworząc nieprzerwaną pętlę zwrotową. Praktyczne zasady Hebbowskie dodają normalizację, rozkładanie się (decay) lub przesuwającą granicę (jak w zasadzie BCM), aby utrzymać wagę w granicach.
Co determinuje, czy sinapsa potencjiuje czy depresja pod wpływem STDP?
Porządek mikrosekundowy odbioru impulsów. Jeśli impuls przesynaptyczny dotrze przed impulsem postsynaptycznym (Δt = t_post − t_pre > 0), sinapsa staje się silniejsza (LTP), co jest zgodne z relacją kauzalną. Jeśli dotrze po nim (Δt < 0), sinapsa słabeje (LTD). Rozmiar zmiany maleje wykładniczo ze wzrostem |Δt|, a zazwyczaj zanika ponad około 100 ms, przy czasach stałe τ ≈ 20 ms w klasycznym oknie STDP wykładniczego.
Jak mózg zapobiega rozproszeniu się uczenia Hebbowskiego poza kontrolę?
Poprzez plasticność domenistyczną, wolniejszą rodzinę mechanizmów zwrotnych negatywnego charakteru. Skalowanie sinapsowe mnożenie wszystkich sinapse neuronu do przyprowadzenia jego średniej aktywności do docelowej stopy, zachowując relację wzorców wag podczas dostosowywania ogólnej skali. Zasada BCM osiąga coś podobnego wewnątrz samego uczenia Hebbowskiego, używając przesuwającej się granic zmiany, która wzrasta, gdy neuron jest nadaktywny i maleje, gdy jest chronicznie niedoktaktywny.
Wypróbuj na żywo
Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Synaptic Plasticity — How Neurons Learn (STDP) i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.
▶ Otwórz symulację Synaptic Plasticity — How Neurons Learn (STDP)