Data-Centric AI та якість даних

🎓 Якість даних

Completeness

Визначення: Всі необхідні дані присутні. Немає missing values.

Оцінка: Відсоток missing values, coverage.

Покращення: Заповнення missing values, збір додаткових даних.

Accuracy

Визначення: Дані відображають реальність. Немає помилок.

Оцінка: Validation, cross-checking, expert review.

Покращення: Виправлення помилок, validation rules.

Consistency

Визначення: Дані узгоджені, немає суперечностей.

Оцінка: Перевірка consistency rules.

Покращення: Стандартизація, normalization.

🔧 Data Cleaning

Видалення Duplicates

Методи: Exact duplicates, fuzzy matching для схожих.

Інструменти: Pandas, dedupe бібліотеки.

Важливість: Duplicates можуть спотворити навчання.

Обробка Missing Values

Методи: Deletion, imputation (mean, median, mode, ML-based).

Вибір: Залежить від nature missingness (MCAR, MAR, MNAR).

Практика: Аналізувати nature missingness, вибрати метод.

Outlier Detection

Методи: Statistical (Z-score, IQR), ML-based (Isolation Forest).

Обробка: Видалення, transformation, capping.

Важливість: Outliers можуть спотворити моделі.

📚 Практичні приклади

Приклад 1: Data Cleaning Pipeline

Профілювання: Профілювати дані для виявлення проблем.

Cleaning: Видалити duplicates, обробити missing values, outliers.

Validation: Перевірити якість після cleaning.

Порівняння: Порівняти performance моделі до/після cleaning.

Приклад 2: Active Learning для Labeling

Початок: Почати з малого labeled set.

Active Learning: Використати uncertainty sampling для вибору прикладів.

Labeling: Отримати labels для вибраних.

Повторення: Повторити до досягнення мети.

© 2025 Науковий Симулятор. Всі права захищені.

Data-Centric AI: фокус на якості даних

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.