Стильові нейронні мережі: Нейрони, що спілкуються за допомогою часових імпульсів, а не чисел

A neuron that spikes, not a number that squashes

Standard artificial neural networks pass continuous numbers through smooth activation functions. A spiking neural network (SNN) instead models neurons much closer to biology: each unit accumulates input as a continuously evolving membrane voltage and only communicates by firing discrete, all-or-nothing spikes when that voltage crosses a threshold — information is carried in when spikes happen, not in a continuous activation level.

The standard workhorse model for the individual neuron is the leaky integrate-and-fire (LIF) neuron — a deliberately simplified model that captures the essential dynamics (integration, leak, threshold, reset) without the biophysical detail of, say, the Hodgkin-Huxley ion-channel equations:

τ dV/dt = −(V − V_rest) + R·I(t)

when V ≥ V_threshold:  neuron fires a spike, then V → V_reset (hard reset)

τ      = membrane time constant (leak rate)
V_rest  = resting potential the voltage decays back toward with no input
R·I(t)  = driving current from incoming synaptic spikes

Синаптична активність

Реальні кортікальні схеми, та приблизно 40-ексанторитні/10-інхібіторні розподіли в цій симуляції, складаються з двох функціонально різних популяцій. Ексанторитні нейрони (вивільняють нейротрансмітери, такі як глутамат) підштовхують потенціал постсинаптичної нейрона до порогу; інхібіторні нейрони (вивільняють ГАБ) відштовхують його від порогу. Мережа з надмірним неконтрольованим збудженням може розійтися в синхронізоване, судорожне збудження; одна з недостатньою активністю не може підтримувати жодної діяльності взагалі. Приблизно 80:20 ексанторитний-до-інхібіторний співвідношення, яке спостерігається в реальному кортікасі, та відображене тут, знаходиться в режимі, де інхібіція активно обмежує та формує збудження, а не просто гасить його — створюючи той тип нерегулярного, розрідженого, інформативно насиченого збудження, яке спостерігається у реальних кортікальних записуванні, а не або тишу чи синхронізовані спалахи.

STDP: synapses that learn from timing, not from being told the answer

Spike-timing-dependent plasticity (STDP) is the leading biological model for how synapses strengthen or weaken based purely on the relative timing of pre- and postsynaptic spikes, discovered experimentally in the 1990s and directly inspired by Hebb's older, looser postulate that cells which fire together wire together.

if pre-synaptic spike arrives shortly BEFORE post-synaptic spike (Δt > 0): synapse strengthens (long-term potentiation, LTP) "this input looks like it helped cause the output — reward it"

if pre-synaptic spike arrives shortly AFTER post-synaptic spike (Δt < 0): synapse weakens (long-term depression, LTD) "this input arrived too late to have caused the output — penalize it"

Δw ~ A⁺·exp(−Δt/τ⁺) if Δt > 0, A⁻·exp(Δt/τ⁻) if Δt < 0 This turns causal timing into a learning signal without ever needing an external error label or teacher: a synapse that reliably fires just before its target neuron does gets rewarded, one that fires just after gets punished, and over many spikes the network's connectivity self-organises around whichever inputs are actually predictive of downstream firing.

if pre-synaptic spike arrives shortly BEFORE post-synaptic spike (Δt > 0):
    synapse strengthens (long-term potentiation, LTP)
    "this input looks like it helped cause the output — reward it"

if pre-synaptic spike arrives shortly AFTER post-synaptic spike (Δt < 0):
    synapse weakens (long-term depression, LTD)
    "this input arrived too late to have caused the output — penalize it"

Δw ~ A⁺·exp(−Δt/τ⁺)  if Δt > 0,   A⁻·exp(Δt/τ⁻)  if Δt < 0

Raster plots

The standard way to visualise spiking activity across many neurons at once is a raster plot: one row per neuron, one tick mark per spike, time running along the horizontal axis. Instead of a single continuous trace it exposes population-level structure directly — a synchronized vertical band means many neurons fired together, a diagonal streak means activity is propagating like a wave through the population, and quiet, evenly-scattered dots mean the network is in an irregular, asynchronous firing regime.

Чому спайки замість безперервних активацій взагалі?

Спайки — це не просто більш правдоподібний біологічний деталі, прикріплений до звичайного мережі — це змінює те, що мережа може обчислювати та наскільки дешево. Оскільки нейрон передає сигнал лише тоді, коли перетинає поріг, більшість одиниць у великій, розріджено активній SNN є безмовними в будь-який момент часу, що є головною перевагою невроморфного обладнання (наприклад, Intel's Loihi або IBM's TrueNorth): обчислення та зв’язок відбуваються лише тоді, коли виникає спайк, тому споживання енергії залежить від активності, а не від розміру мережі — це зовсім інший компроміс порівняно з традиційною нейронною мережею, яка виконує щільне множення матриць на кожній одиниці на кожному кроці, незалежно від того, чи впливає вихід цієї одиниці на результат.

Frequently asked questions

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Spiking Neural Network і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.