Problem: Dlaczego samotna plasticyta Hebbejska jest nieciąga
Postulat klasyczny Donalda Hebb'a, często podawany jako neuronów, którzy razem wybuchają, łączą się razem, opisuje sposób, w jaki zgodność aktywności między preneuronem a postneuronem siłuje sinapsę łączącą je poprzez procesy takie jak długoterminowy potencjał podnoszący (LTP). Komplementarny proces, długoterminowe depresja (LTD), słabi sinapse, gdy aktywność jest niezgodna lub anty-zgodna. Wspólnie te zasady Hebbejskie są potężnymi motormi uczenia: pozwalają sieciom tworzyć asocjacje, kodować cechy percepcyjne i budować wazonowane połączenia, które stanowią podstawę pamięci. Ale oddzielnie, plasticyta Hebbejska jest matematycznie i biologicznie nieciąga. Rozważ sinapsę siłującą, ponieważ pre- i postneuron są aktywne razem. Silejsza sinapse robi, że postneuron jest jeszcze bardziej prawdopodobny do wybuchnięcia przy kolejnym wybuchu preneurona, co zgodnie z zasadą Hebbejską siłuje sinapsę dalej. Jest to typowy pętlę dodatniej odwrotności, a pętle dodatniej odwrotności bez przeciwnego siły biegną do ekstremum. W symulacjach sieci Hebbejskich, wagi sinapse buforują się na maksymalne dopuszczalne wartości, pozostawiając każde połączenie maksymalnie silne i sieć nie jest w stanie rozróżniać różnych wejść. Alternatywnie, wagi sinapse kierują się ku zera, ponieważ słabsze sinapse są powoli zastąpione całkowicie i milczą. W rzeczywistych układach neuronowych oba te ekstrema nie występują pod normalnymi warunkami. Neurony korupcji utrzymują swoje stopy aktywności w stosunkowo niewielkim zakresie, nawet gdy dalej uczą się przez całe życie. Musi być coś, co przeciwdziała destabilizującemu wpływowi uczenia Hebbejskiego, pozwalając na istnienie użytecznych i informacyjnie niezmiennych różnic między sinapse. To coś to plasticyta homeostatyczna, a skalowanie sinapsowe jest najlepiej zrozumiałym jej implementacją cywilizacyjną. Akcji wykonuje się jako stabilizujący przeciwwaga, sygnał negatywnego odwrotnej reakcji szybkiego na topie dodatniej odwrotnej reakcji uczenia Hebbejskiego, więc oba mechanizmy razem tworzą sieci, które są jednocześnie plastyczne do nauki i stabilne do dalszej pracy.
Mechanizm: mnożone skalowanie wszystkich sinapsem
Skalowanie sinapsowe działa na podstawie całkowicie innego mechanizmu niż plasticzność Hebbowska. Zamiast dostosowywać pojedynczą sinapsę na podstawie lokalnej korelacji między dwiema konkretnymi neuronami, dostosowuje się każdą sinapsę eklecytyczną wprowadzającą dany neuron do przybliżonego mnożonego czynnika skalowania, opartego jedynie na własnej niedawnej historii ogólnego aktywności elektrycznej tego neurona. Neuron efektywnie śledzi swoją średnią frekwencję wystrzeliwania w oknie wielu godzin do dni, porównując ją z wewnętrznym poziomem celowym często nazywanym punktem ustawienia homeostatycznego. Jeśli neuron strzelał za dużo, długoterminowo nadaktywnie, skaluje wszystkie swoje przychodzące sinapsy eklecytyczne w dół. Jeśli strzelał za mało, długoterminowo niedokładnie aktywnie, skaluje je w górę. Kluczowa matematyczna właściwość polega na tym, że ta dostosowanie jest mnożone, a nie dodawane: każdy wagowy sinapsy jest mnożony przez ten sam czynnik skalowania zamiast mieć dany stały ilość dodana lub odebrana. Ta różnica ma ogromne znaczenie. Jeśli sinapsa A jest dwukrotnie silniejsza od sinapsy B przed skalowaniem, mnożenie obu przez ten sam czynnik zachowuje to stosunek dwójki po skalowaniu. Dostosowanie dodawane, w przeciwieństwie do tego, byłoby mogło zatarzać lub deformować względną różnicę między sinapsami, potencjalnie uszczuplając informację, która została zakodowana przez naukę Hebbowską. Skalowanie mnożone więc pozwala neuronowi poprawić swoją ogólną aktywność bez pozwalania na znaczące zmiany w względnej formie silnych i słabej sinapsy, czyli zasady uczenia się, które zostały wyuczone. To często opisuje jako skalowanie całego rozkładu wag sinapsowych w górę lub w dół podczas zachowania jego kształtu. Eksperymentalnie, ta zjawisko zostało pierwszy raz jasno pokazane przez długoterminowe manipulacje farmakologiczne aktywności sieciowej w kulturze neuronów korzystnych, gdzie blokada aktywności na okres jednego do dwóch dni spowodowała globalne skalowanie w górę sił sinapsowych, podczas gdy długoterminowe podwyższenie aktywności spowodowało globalne skalowanie w dół, w obu przypadkach bez zniszczenia różnic między pojedynczymi sinapsemi na tym samym neuronie.
Zestaw czynników molekularnych: receptory AMPA i TNF-alfa
Na poziomie molekularnym, skalowanie sinaptyczne osiąga się głównie poprzez zmianę liczby receptorów AMPA typu glutamatowych wlożonych w błonę postsynaptyczną przy sinapsach podsycających. Receptory AMPA są szybkimi ionotropicznymi receptormi odpowiadającymi za większość bieżącego podsycenia elektrycznego, które sinapa wygeneruje, więc dodawanie lub usuwanie ich bezpośrednio zmienia, jak silnie ta sinapa depolaryzuje neuron postsynaptyczny, gdy glutamat jest zwalczany. Gdy aktywność neuronu była długotrwało ograniczona, ścieżki sygnałowe wewnątrzkomórkowe promują włożenie dodatkowych receptorów AMPA do błon sinaptycznych na całym drzewie dendrycytowym, co zwiększa odpowiedź postsynaptyczną w proporcji do istniejącej siły prawie dla każdego podsycającego sinapty. Gdy aktywność była długotrwało wzrośnięta, odwrotna sytuacja występuje: receptory AMPA są zdegradowane i usuwane z sinaps, co skali odpowiedzi w dół. Prace ze laboratorium Gina Turrigianiego wykazały, że szczególnie wyraźny czynnik sygnałowy związany z skalaniem w górę to tukotnej narażone na zniszczenie (tumor necrosis factor-alpha) lub TNF-alfa, cytokin bardziej klasycznie powiązany z sygnowaniem układu immunologicznego i zapalenia. Komórki glialne, szczególnie astrocyty, relacjonują TNF-alfa w odpowiedzi na długotrwałe zmniejszenie aktywności sieciowej, a ten TNF-alfa działa na neurony, prowadząc do włożenia receptorów AMPA i tym samym skalowania sinaps w górę. To była rzeczywiście zaskakująca odkrycie, ponieważ pokazało, że czynnik sygnałowy z zestawu molekularnego systemu immunologicznego został wykorzystany przez układ nerwowy do kluczowej funkcji związanej z plasticznością zależną od aktywności, a także podkreśliło to, że neurony nie osiągają homeostazy samodzielnie, ale opierają się na partnerach glialnych, aby wykrywać i przekazywać informacje o poziomach aktywności sieciowej. Inne ścieżki związane z sygnalizacją kalcyjną, ścieżkami czynników transkrypcyjnymi dolinowymi dla detektorów aktywności oraz dodatkowymi proteinami szkieletowymi i transportowymi również przyczyniają się, ale osiąganie skali przez receptory AMPA i sygnalizację TNF-alfa pozostaje jednym z najjasniejszych, najlepiej charakteryzowanych molekularnych ścieżek, poprzez które neuron przekształca zmianę w swojej historii podsyceń na globalne dostosowanie siły sinapsy.
Skalowanie czasowe: szybkie uczenie, wolne stabilizowanie
Kluczowym celem, która pozwala sinaptycznemu skalowaniu i Hebbowskim elastyczności współistnieć bez tego, aby jedno zniszczyło drugie, jest ich różnica w skalowaniu czasowego. Mechanizmy Hebbowskie, takie jak LTP (Leczenie poprawne) i LTD (Leczenie odwrotne), mogą być wyzwalane w okresie sekund do minut na podstawie korelowanych lub anty-korelowanych aktywności, co sprawia, że są szybkie do zrozumienia struktury czasowej konkretnych doświadczeń i asocjacji, gdy to się dzieje. Sinaptyczne skalowanie, na odwrót, rozwinie się w okresie godzin lub dni, ponieważ zależy ono od neuronu integrowania swojej aktywności przez dłuższy okres czasu, aby wyodrębnić rzeczywistą, utrzymywaną zmianę punktu operacyjnego neuronu od normalnych, minut do minut, fluktuacji w odczycie, które są częścią codziennego przetwarzania informacji. Ta separacja skal czasowego pozwala na współpracę tych procesów zamiast ich konfliktu. Na krótkich skalach czasowych Hebbowska elastyczność jest wolna do modelowania pojedynczych sinaptyków na podstawie konkretnych wzorców korelowanej aktywności, tworząc cienkie zmiany, sinapse-specificzne, które stanowią uczenie i pamięć. Na długich skalach czasowych sinaptyczne skalowanie regularnie cofa się, patrzy na ogólną poziom aktywności neuronu średnio z wszystkich tych modelowań Hebbowskich, a następnie przesuwa każdy sinapsę o wspólny czynnik, aby przyciągnąć średni odczyt neuronu do jego punktu ustawienia. Ponieważ skalowanie jest wolne, nie narusza ani nadpisuje chwilowego asocjacyjnego uczenia, które dzieje się na szybszych skali czasowej. Ponieważ jest mnożone i globalne zamiast sinapse-specificzne, nie musi wiedzieć, które konkretnie sinaptyki były odpowiedzialne za przesunięcie aktywności; prostym jest normalizowanie wszystkiego razem. Wynikiem jest dwustopniowy system: szybka, precyzyjna proces encodowania informacji i wolny, szerszy proces odzyskiwania stabilności, zagnieżdżony na siebie w tym samym zestawie sinaptyków, umożliwiający kontynuowane uczenie bez tego, aby sieć nigdy nie spadła do pathologicznych ekstremów nadaktywności ani milczenia.
Dlaczego to ważne: stabilność, choroby i rozwoj
Skalowanie sinaptyczne nie jest tylko teoretycznym zainteresowaniem dla modelerów obliczeniowych; ma rzeczywiste konsekwencje dla zdrowia i funkcji mózgu. W trakcie rozwoju, gdy młode sieci neuronowe ustawiają się i Hebbowska plasticzność oparta na doświadczeniu jest szczególnie aktywna, mechanizmy domenowane homeostatyczne, takie jak skalowanie sinaptyczne, są uważane za kluczowe dla zapobiegania ekspansywnemu, niekontrolowanemu zwiększaniu się, które inaczej by miało miejsce w niewyroeconym sieciowym systemie. W dorosłym mózgu, ciągłe doświadczenia sensorialne prowadzą do zmian Hebbowskich na sinaptych, a skalowanie homeostatyczne jest uważane za pomocnicze dla utrzymania obszarów korzyjnych w granicach praktycznych przez całe życie nauki. Rozpaczliwe zjawiska plasticyjności domenowane są wiązane z kilkoma chorobami regulacji aktywności mózgowej. Epilepsja, na przykład, obejmuje sieci, które nie są w stanie ograniczyć ekspansywnego podniecenia, a niektórzy badacze sugerują, że uszkodzone skalowanie homeostatyczne mogłoby przyczynić się do utraty tego ograniczenia. Niektóre warunki rozwojowe są również związane z różnymi badaniami zmienionymi punktami domenowymi lub uszkodzonymi odpowiedziami na skalowanie, co jest zgodne z myślą, że zarówno za mało, jak i za dużo poprawy homeostatycznej mogą być problematyczne. Poza znaczeniem dla chorób, skalowanie sinaptyczne ma również znaczenie dla tego, jak neuroscyntysti i modelerzy obliczeniowi myśleć o systemach naukowych w ogólności. Sieci neuronowe sztuczne treningowe jedynie na podstawie zasad opartych na korelacji lub gradientach mogą, teoretycznie, napotkać własny wariant problemu ekspansywnego lub zagłuszenia wag, a techniki normalizacyjne domenowane homeostatycznie stosowane w nowoczesnym uczeniu maszynowe mają pojęciową podobieństwo do biologicznego skalowania sinaptycznego, nawet jeśli implementacje podstawowe są znacznie różne. Badanie sposobu, w jaki mózg rozwiązuje zagadnienie stabilności-plastyczności, zachowując zdolność do dalszej nauki bez utraty zdolności funkcjonowania, pozostaje jednym z bogatszych punktów przecięcia między eksperymentalną neurobiologią a teorią systemów adaptacyjnych.
Często zadawane pytania
Jak się różni skaliowanie sinaptyczne od Hebbowskiego elastycznego skrzywdzenia (LTP i LTD)?
Hebbowskie elastyczne skrzywdzenie, takie jak LTP i LTD, zmienia pojedyncze sinapsy na podstawie korelowanej aktywności między określonymi neuronami presynaptycznymi a postsynaptycznymi, działając w ciągu sekund do minut. Skaliowanie sinaptyczne z kolei dostosowuje wszystkie sinapse danego neurona do wspólnego czynnika mnożonego, opierając się na średniej frekwencji wystrzałów tego samego neurona przez okresy trwania od godzin do dni, bez względu na to, które z sinapse były aktywne.
Dlaczego skaliowanie sinaptyczne musi być mnożone, a nie dodawane?
Zmiana mnożona mnoży każdą wagę sinapsy przez taki sam czynnik, więc sinapse, która zaczyna się dwa razy silniejsza od innej, pozostaje dwa razy silniejsza po skaliowaniu. Zmiana dodawana lub odejmująca by w każdym miejscu dodawała lub odejmowała tę samą stałą ilość, co by rozpraszyło lub usunęło te relatywne różnice, co zniszczyłoby informacje, które Hebbowskie uczenie zakodowało w wzorcu wag sinapsy.
Jaka rolę odgrywa TNF-alpha w skaliowaniu sinaptycznym?
TNF-alpha, czyli tumor necrosis factor-alpha, to czynnik sygnalizacyjny znany z zapalnych reakcji układu immunologicznego, który laboratorium Gina Turrigianiego odkryło, że jest wydzielany przez glialne komórki, szczególnie astrocyty, kiedy aktywność sieci neuronowej jest chronicznie ograniczona. TNF-alpha wydzielany z glialnych komórek działa na neurony poprzez promocję wstawiania receptorów AMPA na sinapse, co prowadzi do wzrostu skaliowalnego sinapsy.
Dlaczego jest potrzebne elastyczne skrzywdzenie domowe, jeśli Hebbowskie uczenie działa dobrze?
Hebbowskie uczenie to proces zwracający się do przodu: znaczniejsze skaliowanie sinapse prowadzi do bardziej prawdopodobnego dalszego skaliowania. Bez balansującego mechanizmu, ten proces prowadzi sieci ku eksplozji aktywności, gdzie sinapse osiągną maksymalną siłę, lub ku ciszy, gdzie słabsze sinapse są zastępowane. Elastyczne skrzywdzenie domowe, w tym skaliowanie sinapsy, dostarcza negatywnej feedbaksu potrzebnego do utrzymania sieci w granicach stabilnych i funkcjonalnych.
Czy skaliowanie sinaptyczne usuwa pamięci zapisane w wagach sinapse?
Nie. Ponieważ czynnik skaliowania jest stosowany mnożeniem i jednolitą na wszystkie sinapse danego neurona, relatywne różnice między silniejszymi a słabszymi sinapse, które są myślane jako miejsce kodowania pamięci i naukowych powiązań, są zachowane nawet gdy siła absolutna każdego sinapse przesuwa się w górę lub w dół.
Wypróbuj na żywo
Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Synaptic Scaling: The Brain's Homeostatic Plasticity i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.
▶ Otwórz symulację Synaptic Scaling: The Brain's Homeostatic Plasticity