Feature Stores у продакшені

Feature store - це централізована система для зберігання, управління та обслуговування ML фіч. Вона вирішує проблему консистентності фіч між навчанням та serving, дозволяє sharing фіч між командами та надає єдине джерело правди для визначень фіч.

Де використовується

Feature stores забезпечують ML платформи в різних галузях:

• E-commerce: Real-time персоналізація, фічі рекомендацій
• Фінанси: Фічі fraud detection, сигнали кредитного скорингу
• Ride-sharing: Фічі водіїв/пасажирів, inputs для ETA prediction
• Ad tech: Профілі користувачів, фічі релевантності реклами
• Gaming: Фічі поведінки гравців, сигнали churn

Компанії з feature stores: Uber (Michelangelo), Airbnb (Zipline), Netflix, Spotify, LinkedIn.

Типова архітектура

┌─────────────────────────────────────────────────────────────┐
│                     Feature Store                          │
├─────────────────────────────────────────────────────────────┤
│  ┌─────────────────┐    ┌─────────────────┐               │
│  │  Offline Store  │    │  Online Store   │               │
│  │  (Historical)   │    │  (Low-latency)  │               │
│  │  - Parquet/S3   │    │  - Redis        │               │
│  │  - BigQuery     │    │  - DynamoDB     │               │
│  └─────────────────┘    └─────────────────┘               │
│           │                      │                         │
│           ▼                      ▼                         │
│  ┌─────────────────────────────────────────────┐          │
│  │         Feature Registry/Catalog            │          │
│  └─────────────────────────────────────────────┘          │
└─────────────────────────────────────────────────────────────┘
        │                              │
        ▼                              ▼
   Training                       Inference
   (batch)                        (real-time)

Що робимо на практиці

1. Визначити вимоги до фіч - Які фічі, яка свіжість, яка латентність?
2. Спроєктувати схему фіч - Entity, features, timestamps
3. Побудувати transformation pipelines - Raw data → features
4. Зареєструвати фічі - Визначення, власники, документація
5. Матеріалізувати в stores - Offline та online за потреби
6. Валідувати консистентність - Training/serving skew checks
7. Обслуговувати фічі - API для online, point-in-time для offline
8. Моніторити використання та якість - Tracking, alerting
9. Версіонувати та еволюціонувати - Обробка schema changes
10. Sharing між командами - Discovery, reuse

Baseline з Feast

from feast import FeatureStore, Entity, Feature, ValueType
from feast import FileSource, FeatureView
from datetime import timedelta

# Визначити entity
customer = Entity(name="customer_id", value_type=ValueType.INT64)

# Визначити feature view
customer_features = FeatureView(
    name="customer_features",
    entities=["customer_id"],
    ttl=timedelta(days=1),
    features=[
        Feature(name="total_purchases", dtype=ValueType.INT64),
        Feature(name="avg_order_value", dtype=ValueType.FLOAT),
    ],
    source=customer_source,
)

# Використання feature store
store = FeatureStore(repo_path=".")

# Training: отримати historical features
training_df = store.get_historical_features(
    entity_df=entity_df,
    features=["customer_features:total_purchases"]
).to_df()

# Serving: отримати online features
online_features = store.get_online_features(
    features=["customer_features:total_purchases"],
    entity_rows=[{"customer_id": 1001}]
).to_dict()

Опції Feature Store

Ключові концепції

Point-in-time correctness: Фічі повинні обчислюватися станом на час prediction, не поточний час.

Training/serving skew: Різниці між фічами, обчисленими для навчання vs serving, спричиняють деградацію моделі.

Feature freshness: - Batch фічі: Оновлюються hourly/daily - Streaming фічі: Оновлюються в real-time - On-demand фічі: Обчислюються в момент запиту

Моніторинг та метрики

Типові проблеми

• [ ] Training/serving skew: Різні transformations
• [ ] Data leakage: Фічі обчислені з майбутньою інформацією
• [ ] Stale features: Materialization pipeline failed
• [ ] Missing features: Entity не в feature store
• [ ] Schema mismatch: Визначення фічі змінилося
• [ ] Latency spikes: Online store перевантажений

Чекліст продакшену

Перед деплоєм: - [ ] Визначення фіч задокументовані - [ ] Transformations протестовані та валідовані - [ ] Point-in-time correctness верифіковано - [ ] Online/offline консистентність перевірена - [ ] Латентність вимогам відповідає

Після деплою: - [ ] Feature freshness моніториться - [ ] Distribution drift відстежується - [ ] Serving latency моніториться - [ ] Pipeline health alerting - [ ] Cost моніторинг

Інструменти

Пов'язані сторінки

• Індекс: ML Field Guide
• MLOps основи
• Feature Engineering основи
• Model Monitoring

Додаткове читання

• Feast Documentation
• Tecton Documentation
• Feature Stores: A Hierarchy of Needs

Спробуйте наживо

Дослідіть пов'язану модель на практиці: відкрийте Feature Store Skew Detector і змінюйте параметри під час роботи. Усе лишається у вашому браузері.