Feature Engineering та обробка даних

🎓 Типи ознак та обробка

Числові ознаки

Нормалізація: Min-max scaling до [0,1]. Добре для алгоритмів, чутливих до масштабу (k-means, нейронні мережі).

Стандартизація: Z-score normalization (mean=0, std=1). Добре для регресії, SVM.

Трансформації: Логарифм, квадратний корінь для нормалізації розподілів. Робастні до викидів.

Binning: Перетворення неперервних у категоріальні. Може покращити нелінійні зв'язки.

Категоріальні ознаки

One-hot Encoding: Створює бінарні змінні для кожної категорії. Добре для більшості алгоритмів, але збільшує розмірність.

Label Encoding: Присвоює числові мітки. Тільки для порядкових даних або tree-based моделей.

Target Encoding: Замінює категорію середнім значенням цільової змінної. Потужний, але може призвести до переобучення.

Frequency Encoding: Замінює категорію частотою появи. Добре для висококардинальних категорій.

Створення нових ознак

Взаємодії: Множення, ділення, додавання ознак. Може виявити нелінійні зв'язки.

Polynomial Features: Ступені та добутки ознак. Для нелінійних моделей.

Агрегації: Сума, середнє, максимум, мінімум для груп. Добре для групових даних.

Часові ознаки: День тижня, місяць, година з дати. Добре для часових рядів.

🔍 Feature Selection

Методи

Correlation: Видалити високо корельовані ознаки. Простий, але може втратити важливі ознаки.

Mutual Information: Вимірює залежність між ознаками та цільовою змінною. Нелінійний.

LASSO: L1 регуляризація автоматично обнуляє неважливі ознаки. Ефективний.

Recursive Feature Elimination: Ітеративно видаляє найменш важливі ознаки. Точний, але повільний.

Важливість

Зменшення розмірності: Швидше навчання, менше переобучення, краща інтерпретативність.

Покращення узагальнення: Менше шуму, фокус на важливих ознаках.

Економія ресурсів: Менше обчислень, менше пам'яті.

📚 Практичні приклади

Приклад 1: Feature Engineering для регресії

EDA: Дослідити дані, виявити кореляції, розподіли, викиди.

Обробка: Обробити пропущені значення, викиди. Нормалізувати/стандартизувати.

Створення: Створити взаємодії важливих ознак. Polynomial features для нелінійності.

Вибір: Використати LASSO або feature importance для вибору важливих.

Валідація: Перевірити метрики на validation set. Порівняти з baseline.

Приклад 2: Обробка категоріальних змінних

Аналіз: Перевірити кардинальність, частоту категорій.

Низька кардинальність: One-hot encoding для невеликої кількості категорій.

Висока кардинальність: Target encoding (з cross-validation) або frequency encoding.

Групування: Об'єднати рідкісні категорії в "інші".

Валідація: Перевірити метрики. Порівняти різні методи кодування.

© 2025 Науковий Симулятор. Всі права захищені.

Feature Engineering: мистецтво створення ознак

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.