Стимульовані нейронні мережі: від однієї ‘протікаючої’ нейрона до спаленої траси імпульсів

Один нейрон: витікаючий відра, що спалахує

Реальні нейрони спілкуються короткими, або ні електричними імпульсами, а не з плавною, безперервно змінюваною сигналом. Найпростіший підхід, який захоплює це, є витікаючий інтегруйте-і-спалюйте (LIF) нейрон: одна змінна, потенціал мембрани V, накопичується вхідний струм як вода, що наповнює відра, а постійна втрата безперервно повертає V до початкового значення. Коли V перетинає поріг, нейрон спалахує, V перезавантажується, і весь процес починається знову.

τ · dV/dt = −(V − V_rest) + R · I(t) if V ≥ V_threshold: emit a spike V ← V_reset // hard reset, then the leak resumes

Витікаючий термін дає моделі її назву та характер: без нього будь-який вхідний струм, незалежно від того, наскільки малим він є, зрештою змусить V перетнути поріг. З ним нейрон спалахує лише тоді, коли вхідний сигнал приходить швидше, ніж витікання може його вимити, що робить модель природно чутливою до швидкості та часу надходження імпульсів, а не просто до їх загальної кількості — дуже точно відображаючи те, як справді діють нейрони, за значно меншу обчислювальну вартість моделювання окремих іонних каналів.

τ · dV/dt = −(V − V_rest) + R · I(t)

if V ≥ V_threshold:
    emit a spike
    V ← V_reset          // hard reset, then the leak resumes

З’єднання нейронів

Мережа з’єднує багато нейронів LIF через синапси: коли активується пресинаптичний нейрон, він передає невеликий імпульс струму або стрибок у провідності кожному постактивному нейрону, який він з’єднує, після деякої затримки проведення. Кожен зв'язок має вагу та знак — екзитогенні зв’язки підштовхують потенціал постактивного нейрона вгору, до порогу, тоді як інгібуючі зв’язки штовхають його вниз, віддалено від порогу. Загальна поведінка мережі — спокійна, бурхлива, ритмічно спалахуюча або безконтрольна — виникає лише з-за того, як тисячі невеликих рухів та тяг додаються один до одного миттєво, без жодного нейрона, який би керував результатом.

Чому мережі потребують інгібування

Чисто експресивне з’єднання нестабільне за конструкцією: один нейрон, який активується, захоплює сусідні нейрони, які, у свою чергу, захоплюють сусідніх нейронів, і коли активність перевищує критичну щільність, весь мережевий ланцюг може перейти до стану одночасної активації, подібного до судового нападу. Реальна корова знаходить це, підтримуючи збалансований мікс, приблизно чотири екстресивні нейрони на один інгібувальний, де інгібуюча популяція застосовує негативну відгук, яка автоматично зростає разом із загальною активністю мережі — більше активації призводить до залучення більшого інгібування, яке придушує неконтрольований розвиток, перш ніж він може розвинутись. Цей баланс між екстресивним та інгібувальним є одним з найбільш стійких принципів організації, знайдених у котивних ланцюгах, і симуляції, які налаштовують співвідношення між екстресивними та інгібувальними, відтворюють ту саму перехідну якість від спокою до неконтрольованої активності, яка спостерігається в реальних котивних тканинах та в моделях початку судового нападу.

Асинхронна розмова проти синхронізованих імпульсів

Намалюйте час спайків кожної нейрона як точку на сітці — одна рядок для нейрона, одна точка для спайку — і з’являються дві якісно різні системи залежно від сили зв’язку та статистики вхідних даних. У асинхронній системі слабкий або розріджений зв’язок і шумні вхідні дані дозволяють кожній нейрону спалахувати переважно відповідно до власної історії вхідних даних, що призводить до нерегулярного розподілу точок по всій сітці без очевидної закономірності — це система, яка найбільше пов’язана з ефективним кодуванням інформації, оскільки синхронізована популяція передає набагато менше незалежної інформації, ніж нерегулярно спалахуючий один. У синхронній системі сильний рекурентний зв’язок і короткі затримки дозволяють одному спалахнути нейрону надійно спровокувати своїх сусідів у тому ж часовому проміжку, фіксуючи великі групи нейронів на одній фазі спалаху та створюючи вертикальні смуги на сітці — ближче до колективного імпульсування, яке спостерігається в розвиваючомуся нервовій тканині, у деяких патологічних станах і в генераторах центральних ритмів, які навмисно виробляють синхронізований ритмічний вихід.

This regime is characterized by a high degree of independence between neurons, while the synchronous regime exhibits strong correlations and collective dynamics.

Чому не використовувати лише модель швидкості?

Простіші моделі представляють кожну нейрон лише одним безперервно змінюючимся показником спалювання, а не дискретними імпульсами, і вони дешевше обчислюються та легше аналізуються. Але зведення імпульсів у швидкість викидає саме той часовий сигнал, на якому залежать явища синхронізації — дві нейрони з однаковим середнім показником можуть бути абсолютно синхронізовані або абсолютно розставлені, і лише модель імпульсів може це відрізнити. Саме в цьому полягає суть моделювання окремих імпульсів замість швидкості: цікава фізика тут, від мережевих осциляцій до різкого переходу від безладу до синхронізації, існує у відносній часовій координації імпульсів, а не у їх середній частоті.

Frequently asked questions

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Spiking Neural Network і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.