Виявлення аномалій

🎓 Методи виявлення

Статистичні методи

Z-score: Відстань від середнього у стандартних відхиленнях. |z| > 3 = аномалія.

IQR Method: Q1 - 1.5×IQR, Q3 + 1.5×IQR. Значення поза цими межами = аномалії.

Переваги: Прості, швидкі, інтерпретовані.

Недоліки: Тільки для одноваріантних, можуть пропустити складні аномалії.

Isolation Forest

Концепція: Використовує дерева для ізоляції аномалій. Аномалії ізолюються швидше.

Переваги: Швидкий, ефективний для високої розмірності, не потребує labels.

Параметри: n_estimators (кількість дерев), contamination (очікувана частка аномалій).

Autoencoders

Концепція: Навчається реконструювати нормальні дані. Аномалії мають високу помилку реконструкції.

Переваги: Добре для складних патернів, великих датасетів, нелінійних аномалій.

Недоліки: Потребує навчання, може переобучитися.

📚 Практичні приклади

Приклад 1: Isolation Forest для виявлення аномалій

Підготовка: Підготувати дані, нормалізувати.

Модель: Навчити IsolationForest. Налаштувати contamination.

Виявлення: Обчислити anomaly scores. Визначити аномалії.

Оцінка: Перевірити метрики, візуалізувати аномалії.

Приклад 2: Autoencoder для складних аномалій

Архітектура: Створити autoencoder (encoder + decoder).

Навчання: Навчити на нормальних даних. Мінімізувати reconstruction error.

Виявлення: Обчислити reconstruction error для всіх даних. Встановити поріг.

Оцінка: Перевірити метрики на test set.

© 2025 Науковий Симулятор. Всі права захищені.

Виявлення аномалій: знаходження незвичайних патернів

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.