Основи Feature Engineering

Feature engineering - це місце, де створюється основна цінність ML. Проста модель з відмінними ознаками перемагає складну модель з поганими ознаками. Це робота, яка реально рухає метрики - трансформація сирих даних у сигнали, з яких моделі можуть навчатись.

Де використовується

Кожна ML-система покладається на feature engineering:

• Fraud detection: Velocity features, поведінкові патерни, мережеві сигнали
• Рекомендації: Преференції користувачів, популярність товарів, історія взаємодій
• Кредитний скоринг: Агрегації історії платежів, коефіцієнти боргу, індикатори стабільності
• Прогнозування попиту: Сезонність, тренди, ефекти промо-акцій
• Прогноз відтоку: Тренди залученості, звернення до підтримки, патерни використання

Найкращі ML-команди витрачають 60-80% часу на ознаки, не на моделі.

Типові дані

Сирі дані до feature engineering:

Feature engineering трансформує це у формат для моделі: - Числові ознаки масштабовані належним чином - Категоріальні ознаки закодовані - Пропущені значення оброблені - Темпоральні патерни витягнуті - Взаємодії захоплені

Що робимо на практиці

1. Зрозуміти бізнес-проблему - Який сигнал допоміг би передбачити target?
2. Дослідити сирі дані - Що доступно, яка якість, що відсутнє?
3. Визначити точку прогнозу - Яка інформація доступна на момент прогнозу?
4. Витягнути базові ознаки - Прямі маппінги з сирих даних
5. Створити агрегації - Суми, кількості, середні по часових вікнах
6. Побудувати ratio features - Поточне vs історичне, entity vs популяція
7. Закодувати категорії - Обрати кодування на основі кардинальності та моделі
8. Обробити пропуски - Імпутація або індикаторні ознаки
9. Валідувати якість ознак - Перевірити розподіли, кореляції, leakage
10. Протестувати в продакшні - Переконатись, що ознаки обчислюються однаково при серінгу

Спочатку Baseline

Почніть з найпростішого набору ознак, що схоплює проблему:

1. Прямі маппінги: Числові колонки as-is, one-hot encoded категорії
2. Базові агрегації: Count, sum, mean ключових подій
3. Recency features: Днів з останньої події
4. Прості ratio: Цей період vs минулий період

Цей baseline: - Швидко встановлює мінімальну планку продуктивності - Рано виявляє проблеми якості даних - Дає інтерпретовану відправну точку - Дозволяє швидку ітерацію

Додавайте складність лише коли продуктивність baseline виходить на плато.

Типові патерни та коли їх обирати

Числові трансформації

Кодування категорій

Темпоральні ознаки

Ознаки взаємодії

Патерни Feature Engineering

Фреймворк агрегацій:

Для кожної entity (user, product, session):
  Для кожного типу події (purchase, click, view):
    Для кожного часового вікна (1d, 7d, 30d, 90d):
      Обчислити: count, sum, mean, max, min, std

Поведінкові сигнали: - Консистентність: std активності по часових періодах - Тренд: порівняння недавньої vs історичної поведінки - Різноманітність: кількість унікальних категорій взаємодії - Інтенсивність: rate активності на одиницю часу

Текстові ознаки: - Довжина: кількість символів, кількість слів - Патерни: regex matches, наявність ключових слів - Embeddings: TF-IDF, sentence transformers

Стратегії для пропущених значень: - Імпутувати медіаною/модою для випадкових пропусків - Імпутувати доменно-специфічним значенням (наприклад, 0 для count features) - Створити бінарний індикатор: is_feature_missing - Залишити as-is для tree моделей, що обробляють пропуски

Оцінка та метрики

Метрики якості ознак:

Підводні камені: - Feature leakage: Використання інформації з часу після прогнозу - Target leakage: Ознака кодує label прямо або опосередковано - Distribution shift: Ознака обчислюється по-різному в тренуванні vs серінгу - High cardinality surprises: Нові категорії в продакшні

Режими відмови та чеклист дебагу

• [ ] Leakage: Ознака має неможливо високу кореляцію з target
• [ ] Training-serving skew: Різні code paths для тренування та інференсу
• [ ] Stale features: Online ознаки не оновлюються, серваться застарілі значення
• [ ] NULL explosion: Upstream data issue спричиняє масові пропуски
• [ ] Type mismatch: Integer overflow, проблеми string encoding
• [ ] Time zone bugs: Агрегаційні вікна обчислені в неправильному timezone
• [ ] Off-by-one errors: Часові вікна включають майбутні дані
• [ ] Join fanout: One-to-many join надуває значення ознак

Продакшн-чеклист

Розробка ознак: - [ ] Визначення ознаки задокументовано - [ ] Unit tests для логіки ознаки - [ ] Протестовано на holdout даних - [ ] Перевірено на leakage - [ ] Вартість обчислення прийнятна

Деплоймент ознак: - [ ] Однакова логіка в тренуванні та серінгу - [ ] Моніторинг feature drift - [ ] Алертинг на NULL rates - [ ] Стратегія backfill визначена - [ ] Версіонування на місці

Підтримка ознак: - [ ] Регулярні аудити якості - [ ] Процес deprecation для невикористаних ознак - [ ] Документація оновлена - [ ] Залежності відстежуються

Інструменти та стек

Приклад міні-кейсу

Сценарій: Покращити модель прогнозу відтоку для підписного сервісу.

Поточний стан: Модель використовує 12 ознак (демографія, тип плану, tenure). AUC 0.68.

Спринт feature engineering: 1. Engagement features: Сесії за 7/30/90 днів, кількість використання функцій 2. Trend features: Сесії цього тижня vs 4-тижневе середнє 3. Support signals: Відкриті тікети, час вирішення, sentiment 4. Payment features: Невдалі платежі, зміни способу оплати 5. Recency features: Днів з останнього логіну, останнього використання функції

Результат: 45 нових ознак. Після selection, 23 ознаки в фінальній моделі. AUC покращився до 0.79.

Ключовий інсайт: Trend features (зниження engagement) були найбільш прогнозними, не статичні ознаки.

Пов'язані сторінки

• Індекс: ML Field Guide
• Бінарна класифікація в продакшні
• Feature Stores на практиці
• Моніторинг якості даних

Додаткове читання

• Feature Engineering for Machine Learning - Alice Zheng
• scikit-learn Preprocessing Guide
• Feast Documentation
• Great Expectations Documentation

Спробуйте наживо

Дослідіть пов'язану модель на практиці: відкрийте Feature Engineering: Building Predictive Models і змінюйте параметри під час роботи. Усе лишається у вашому браузері.