What is optical flow and how does this simulation compute it?

Optical flow is the apparent 2D motion field between two images taken a short time apart. This simulation uses the classic Lucas-Kanade method: for each small window of the precipitation grid it computes real spatial gradients Ix and Iy (central differences of intensity in x and y) and the temporal gradient It (the change in intensity between the previous and current frame), then solves the 2x2 least-squares normal-equation system Σ[Ix²,IxIy;IxIy,Iy²]·[u,v] = −Σ[IxIt,IyIt] for the velocity (u,v) of that window. Nothing is scripted — the arrows you see are the literal output of that linear solve run on the actual frame data.

How is the future 'nowcast' field generated from the flow?

Once the per-window velocity field is estimated, the simulation performs semi-Lagrangian advection: for every cell in the current frame it traces backward along the local flow vector and bilinearly samples the intensity at that upstream location, producing the field one frame later. Repeating this trace-and-sample step for the chosen horizon extrapolates the precipitation field forward under a frozen-flow assumption — exactly the technique operational radar nowcasting systems use for lead times of a few tens of minutes, where training a full numerical weather model would be far too slow.

Why does the nowcast diverge from the ground truth as the horizon grows?

Two separate error sources compound with horizon length. First, the optical-flow estimate itself is only measured from a single pair of frames, so it captures the storm's motion at one instant, not its full future evolution. Second, the underlying storm is not a rigid, uniformly translating pattern — each simulated rain cell drifts at its own slightly different rate and its intensity and radius breathe over time, so a frozen velocity field increasingly mismatches the true motion the further ahead it is extrapolated. Both effects are real limitations of optical-flow nowcasting, not simulation artefacts.

What does the RMSE and 'skill vs persistence' stat mean?

RMSE (root-mean-square error) is computed cell by cell between the nowcast field and the true future field, so smaller is better. Persistence — simply assuming the field does not change at all over the horizon — is the standard naive baseline in nowcasting research. 'Skill vs persistence' reports the percentage RMSE reduction of the optical-flow nowcast relative to that persistence baseline; a positive number means the estimated motion field is adding real forecasting value beyond doing nothing, which is the bar every operational nowcasting system has to clear.

What do the estimation window size and horizon controls change?

The estimation window sets the size of each Lucas-Kanade block: smaller windows resolve finer-grained motion but have fewer gradient samples to average, making the 2x2 solve noisier over smooth, low-texture regions (the classic aperture problem); larger windows are more stable but blur together distinct motions within the block. The horizon sets how many frames ahead the frozen flow field is used to advect the current frame — short horizons are usually accurate, while long horizons expose the frozen-flow assumption's limits and typically raise the RMSE relative to the persistence baseline.

Is this a real optical-flow implementation or a visual approximation?

It is a genuine implementation. The Ix, Iy and It gradients are computed directly from the rendered intensity grid, the 2x2 normal-equations system is solved exactly (with a determinant guard for near-singular, low-texture blocks), and the resulting vector field is what actually drives the semi-Lagrangian advection used for the nowcast — the same three-stage pipeline (gradients, least-squares solve, advection) used by real Lucas-Kanade-based nowcasting and video motion-estimation systems, simplified to a 2D scalar field instead of RGB video.

Головна▸ШІ та Машинне навчання▸Наукастинг Погоди — Оптичний Потік Наживо

🌦️ Наукастинг Погоди — Оптичний Потік Наживо

Відстежуйте симульоване поле опадів вперед у часі за допомогою справжньої оцінки руху методом оптичного потоку між послідовними радароподібними кадрами, екстраполюючи короткостроковий рух опадів.

AI & Machine Learning3DПросунутий60 FPS

Про цю симуляцію

Ця симуляція запускає справжній конвеєр оптичного потоку на синтетичному полі опадів: кластер дрейфуючих, "дихаючих" гаусових "дощових комірок", відтворених як радароподібна сітка інтенсивності. Між кожною парою послідовних кадрів справжнє розв'язання методом Лукаса-Канаде будує реальні просторові градієнти (Ix, Iy) і часовий градієнт (It) для кожного вікна оцінки, а потім розв'язує систему нормальних рівнянь методом найменших квадратів 2×2 для вектора руху цього вікна — точно той алгоритм, що використовується в класичному відстеженні руху в комп'ютерному зорі. Отримане поле потоку потім використовується для напівлагранжевої адвекції поточного кадру вперед на обраний горизонт, створюючи короткостроковий наукастинг опадів, який порівнюється, клітинка за клітинкою, зі справжнім майбутнім полем.

🔬 Що показано

Три синхронізовані теплові карти: живе поле опадів з накладеними стрілками оцінених векторів руху блок за блоком, екстрапольований наукаст після обраного горизонту та справжнє майбутнє поле, якого шторм насправді досягає. Плинний графік відстежує RMSE наукасту відносно наївного базового варіанту "персистентності" (припустити, що нічого не змінюється), тож ви можете побачити точно, скільки реальної прогностичної цінності додає оцінений потік.

🎮 Як користуватися

Задайте повзунки справжньої швидкості й напрямку шторму — вони керують базовою симуляцією, а не видимими стрілками. Налаштуйте розмір вікна оцінки Лукаса-Канаде (більший = плавніші, але розмитіші оцінки руху) і горизонт наукасту (на скільки кадрів вперед екстраполювати). Відтворюйте чи крокуйте симуляцію й спостерігайте, як оновлюються наживо оцінений потік, RMSE наукасту та показник цінності відносно персистентності. «Скинути» повторно засіває свіжий шторм із новими позиціями дощових комірок і незалежним дрейфовим тремтінням.

💡 Чи знали ви?

Операційні системи наукастингу опадів, такі як NIMROD від британської Метеослужби, та багато інструментів на основі радарів використовують екстраполяцію у стилі оптичного потоку для періодів попередження приблизно до двох годин, оскільки повна чисельна модель погоди занадто повільна, щоб перезапускати її кожні кілька хвилин. За межами цього горизонту цінність прогнозу обвалюється відносно персистентності — саме те зростання RMSE, яке можна спостерігати в реальному часі, перетягуючи повзунок горизонту вгору в цій симуляції.

Часті питання

Що таке оптичний потік і як ця симуляція його обчислює?

Оптичний потік — це видиме 2D поле руху між двома зображеннями, знятими з невеликим інтервалом. Ця симуляція використовує класичний метод Лукаса-Канаде: для кожного малого вікна сітки опадів вона обчислює реальні просторові градієнти Ix і Iy (центральні різниці інтенсивності за x і y) та часовий градієнт It (зміну інтенсивності між попереднім і поточним кадром), а потім розв'язує систему нормальних рівнянь методом найменших квадратів 2×2 Σ[Ix²,IxIy;IxIy,Iy²]·[u,v] = −Σ[IxIt,IyIt] для швидкості (u,v) цього вікна. Ніщо не є сценарним — стрілки, які ви бачите, є буквальним результатом цього лінійного розв'язання, виконаного на реальних даних кадру.

Як генерується майбутнє поле "наукасту" з потоку?

Щойно оцінено поле швидкості для кожного вікна, симуляція виконує напівлагранжеву адвекцію: для кожної клітинки поточного кадру вона простежує назад уздовж локального вектора потоку й білінійно вибирає інтенсивність у цьому висхідному місці, створюючи поле на один кадр пізніше. Повторення цього кроку простеження-і-вибірки для обраного горизонту екстраполює поле опадів вперед за припущення замороженого потоку — саме та техніка, яку використовують операційні радарні системи наукастингу для періодів попередження в кілька десятків хвилин, де тренування повної чисельної моделі погоди було б занадто повільним.

Чому наукаст розходиться зі справжнім значенням у міру зростання горизонту?

Два окремі джерела похибки накопичуються з довжиною горизонту. По-перше, сама оцінка оптичного потоку вимірюється лише з однієї пари кадрів, тож вона фіксує рух шторму в один момент, а не його повну майбутню еволюцію. По-друге, базовий шторм не є жорстким, рівномірно рухомим патерном — кожна симульована дощова комірка дрейфує з власною, дещо іншою швидкістю, а її інтенсивність і радіус "дихають" із часом, тож заморожене поле швидкості дедалі більше розходиться зі справжнім рухом що далі воно екстраполюється. Обидва ефекти є реальними обмеженнями наукастингу оптичним потоком, а не артефактами симуляції.

Що означає статистика RMSE і "цінність відносно персистентності"?

RMSE (середньоквадратична похибка) обчислюється клітинка за клітинкою між полем наукасту й справжнім майбутнім полем, тож менше — краще. Персистентність — просте припущення, що поле взагалі не змінюється протягом горизонту — є стандартним наївним базовим варіантом у дослідженнях наукастингу. "Цінність відносно персистентності" повідомляє відсоткове зменшення RMSE наукасту оптичним потоком відносно цього базового варіанту персистентності; додатне число означає, що оцінене поле руху додає реальну прогностичну цінність понад нічогонероблення, що є планкою, яку має подолати кожна операційна система наукастингу.

Що змінюють елементи керування розміром вікна оцінки й горизонтом?

Вікно оцінки задає розмір кожного блоку Лукаса-Канаде: менші вікна розрізняють дрібніший рух, але мають менше зразків градієнта для усереднення, роблячи розв'язання 2×2 шумнішим над гладкими, малотекстурними ділянками (класична проблема апертури); більші вікна стабільніші, але розмивають разом різні рухи всередині блоку. Горизонт задає, на скільки кадрів вперед заморожене поле потоку використовується для адвекції поточного кадру — короткі горизонти зазвичай точні, тоді як довгі горизонти виявляють межі припущення замороженого потоку й зазвичай підвищують RMSE відносно базового варіанту персистентності.

Це справжня реалізація оптичного потоку чи візуальне наближення?

Це справжня реалізація. Градієнти Ix, Iy та It обчислюються безпосередньо з відтвореної сітки інтенсивності, система нормальних рівнянь 2×2 розв'язується точно (із захистом визначника для майже сингулярних, малотекстурних блоків), а отримане векторне поле — це те, що насправді керує напівлагранжевою адвекцією, використаною для наукасту — той самий трьохетапний конвеєр (градієнти, розв'язання методом найменших квадратів, адвекція), що використовується справжніми системами наукастингу на основі Лукаса-Канаде та оцінки руху відео, спрощений до 2D скалярного поля замість RGB-відео.

⚙ Під капотом

Справжнє розв'язання оптичного потоку методом Лукаса-Канаде оцінює рух між послідовними кадрами опадів із реальних градієнтів Ix/Iy/It, а потім напівлагранжева адвекція використовує цей потік для екстраполяції наукасту — оцінюваного наживо відносно справжнього значення та базового варіанту персистентності через RMSE.

Canvas 2DОптичний потікЛукас-КанадеНаукастингАдвекція

3D · рушій Three.js / WebGL · ціль 60 кадрів/с · працює повністю на клієнті, без встановлення