Розуміння та створення ознак для машинного навчання

Що таке ознаки?

Суть у тому, що ознака – це окремий вимірний атрибут або характеристика явища, яке спостерігається. У контексті машинного навчання цими можуть бути такі речі, як вік клієнта, ціна продукту або кількість кліків на веб-сайті.

Ознаки повинні ідеально відображати основні закономірності в даних, які є актуальними для завдання прогнозування. Погано вибрана ознака може ввести модель в оману та призвести до неточних результатів.

Процес інженерії ознак

Інженерія ознак передбачає декілька етапів: 1) Розуміння даних, 2) Вибір відповідних ознак, 3) Трансформація існуючих ознак (масштабування, нормалізація), та 4) Створення нових ознак на основі комбінацій існуючих.

Знання предметної області має тут вирішальне значення. Знання того, які аспекти проблеми є важливими, може значно впливати на створення ознак.

Feature Engineering = Data Transformation + Feature Combination

Техніки створення ознак

Поширеними техніками є поліноміальні ознаки (наприклад, піднесення змінної до квадрату або куба), взаємодіючі ознаки (множення двох змінних між собою) та біннування безперервних змінних у дискретні категорії.

Методи зменшення розмірності, такі як Метод головних компонент (PCA), можуть використовуватися для створення меншого набору некорельованих ознак, зберігаючи при цьому більшу частину дисперсії в даних.

Interaction Term = Feature_A * Feature_B

Вибір ознак

Не всі ознаки однаково корисні. Вибір ознак має на меті визначити та зберегти лише найбільш релевантні ознаки, зменшуючи шум і покращуючи ефективність моделі.

Методи включають фільтрові методи (засновані на статистичних показниках, таких як кореляція), обгорткові методи (оцінка підмножин ознак за допомогою конкретного алгоритму машинного навчання) та вбудовані методи (вибір ознак інтегрований у процес навчання моделі).

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте SPH Fluid і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.