Задача Перевірки Правдивості в Цифровому Змісті

Аналіз зображень та аналіз шуму

Генерація фейків часто вносить виявлювані артефакти до зображень і відео. Ці артефакти виникають через обмеження генеративних моделей та процеси, які використовуються для змішування та маніпулювання оригінальним матеріалом. Ключовою областю дослідження є аналіз статистичних властивостей цих артефактів, зокрема їх просторового розподілу та кореляції з іншими ознаками зображення.

Розглянемо простий приклад: Генеративно-змагальні мережі (GAN) часто створюють зображення з незначно ненормальним шумом через процес оптимізації. Хоча людське сприйняття є складним, кількісне визначення цієї відхиленості може надати початковий сигнал виявлення. Стандартне відхилення піксельних інтенсивностей (σ) представляє фундаментальне міру шуму; значно підвищений σ порівняно з справжніми зображеннями свідчить про маніпуляцію.

σ = √(⟨(I - μ)²⟩) where I is the intensity at each pixel and μ is the mean intensity.

Часові невідповідності у відео

На відміну від статичних зображень, відео представляє часову вимірність, що пропонує додаткові можливості для виявлення. Глибокосфальні відео часто демонструють невідповідності між кадрами – незначні зміни освітлення, штучні закономірності моргання або тремтіння рухів – яких зазвичай немає у справжніх відео.

Аналіз відмінностей між кадрами в послідовності відео є критично важливим. Методи, такі як оцінка оптичного потоку, можуть кількісно визначати вектори руху, виявляючи розбіжності, які свідчать про синтетичне маніпулювання. Величина цих векторів та їх статистичні властивості (наприклад, дисперсія) надають цінну інформацію.

Optical Flow:  |v| = √(((x₂ - x₁)² + (y₂ - y₁)² + (z₂ - z₁)²)/Δt²)

Аналіз у частотному діапазоні – Спектральне розкладання

Перетворення зображення або відео в його частотний діапазон за допомогою таких технік, як Дискретна Фур'єва Трансформація (ДФТ), може виявити тонкі артефакти, пов’язані з процесом створення фейків. Наприклад, GAN-и можуть вносити характерні спектральні підписи через їхній індивідуальний шум та методи реконструкції.

ДФТ розкладає сигнал на його складові частоти. Аналіз потужності спектру – квадрату магнітуд кожної частотної компоненти – може виділити аномалії, яких немає в природних зображеннях або відео. Раптовий, штучний пік на певній частоті може свідчити про маніпуляцію джерелом.

DFT(x[n]) = ∑ₖ=0^(N-1) x[k]e^(-j2πkn/N)

Перевірка реалістичного рендерингу

Діпфейки часто створюються за допомогою 3D-рендерингових технік, які вводять певні фізичні властивості та обмеження. Виявлення відхилень від цих очікуваних фізичних поведінок може бути потужним методом виявлення.

Наприклад, відбиття світла від поверхонь має відповідати рівнянням Френеля, які описують залежність інтенсивності відбитиого світла від кута падіння та поляризації. Аналіз розподілу кутів відбитків у діпфейках може виявити невідповідності, що вказують на синтетичне створення.

Reflectance (R) = R₀ + R₁cos²(θ) + R₂cos⁴(θ)

Аналіз мікровиразів та фізіологічних сигналів

Іскренні людські вирази, особливо мікровирази – миттєві, неохотні рухи обличчя – регулюються складними фізіологічними процесами. Моделі deepfake часто не можуть точно відтворювати ці тонкі сигнали.

Аналіз часу та інтенсивності скорочень м’язів, задіяних у генерації виразу, може розкрити аномалії. Аналогічно, виявлення невідповідностей у варіативності частоти серцевих скорочень (ВЧСС) або реакції шкітного опору (РСО), які залежать від емоційного стану, може надати вагомі докази маніпуляції.

HRV = ΔRR/RR where RR is the Root Mean Square of successive RR intervals.

Мультимодальне злиття та ансамблеві методи

Надійна система виявлення фейків часто використовує мультимодальний підхід, об'єднуючи інформацію з різних джерел – візуальний аналіз, перевірки послідовності у часі, характеристики з частотного діапазону та, можливо, фізіологічні сигнали. Ансамблеві методи, які поєднують результати кількох окремих детекторів, особливо ефективні.

Загальна оцінка впевненості для будь-якого фрагменту медіа визначається шляхом зважування індивідуальних оцінок детекторів на основі їхньої надійності. Цей підхід пом’якшує недоліки будь-якого окремого методу виявлення.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте SPH Fluid і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.