Inżynieria cech i przetwarzanie danych

Inżynieria cech to proces tworzenia nowych cech na podstawie istniejących danych, aby poprawić wydajność modeli. Znaczy to przekształcanie raw data w cechy, które lepiej reprezentują ukryte wzory i są bardziej użyteczne dla algorytmów uczenia maszynowego. Dlaczego jest ważna: Raw data często nie zawiera optimalnych cech do nauki. Warto przystosowane cechy mogą znacząco poprawić wydajność modeli. Cechy mogą zaszczycać wiedzy dziedzinowej i relacji. Dobrym cechom często jest bardziej ważne niż wybór algorytmu. Popularne techniki: Tworzenie cech interakcyjnych (mnożenie cech), cech wielomianowych (potęgi i kombinacje), grupowanie (zgrupowywanie wartości ciągłych), wyodrębnianie komponentów daty/czasu (dzień tygodnia, miesiąc) oraz cechy dziedzinowe (proporcje, różnice). Inżynieria cech to często roznicę między przeciętnym a doskonałym wydajnością modeli. Wymaga zrozumienia danych, wiedzy dziedzinejowej i kreatywności. Wiele praktyków poświęca więcej czasu na inżynierię cech niż na wybór algorytmu.

Braki wartości są powszechnymi w danych rzeczywistych i wymagają staranności podczas zarządzania nimi: Usunięcie: Usuwanie wierszy/kolumn z brakującymi wartościami. Używane, gdy: Brakujące dane są losowe (MCAR), brakujące dane stanowią małą część. Wypełnianie średnimi: Zastąpienie brakujących wartości statystycznymi miarami. Używane dla: cech numerycznych (średnia, mediana), cech kategoryzacyjnych (moda). Ważne zalety: Proste, zachowuje dane. Negatywne zalety: Zmniejsza wariancję, może nie odzwierciedlać prawdziwych wartości. Metody zaawansowane: Wypełnianie k-nearest neighbors (używa podobnych wierszy), wypełnianie poprzez regresję (przewiduje brakujące wartości) i wypełnianie przedziwnym lub odwrotnym (dla szeregów czasowych). Najlepsze praktyki: Zrozumieć, dlaczego dane są brakujące (informacyjne vs losowe), użyj odpowiedniej metody na podstawie typu danych, rozważ tworzenie cech indywidualnych dla brakujących danych i waliduj, aby upewnić się, że wypełnianie nie wprowadza biasu. Nie ma jednej najlepszej metody - wybierz na podstawie charakterystyk Twoich danych i wzoru na braki. Zawsze waliduj, czy wypełnianie poprawi wydajność modelu.

Obie transformują cechy do różnych skal, ale używają różnych metod: Normalizacja (skalowanie Min-Max): Skaluje cechy do zakresu [0,1]. Formuła: (x - min) / (max - min). Zachowuje kształt rozkładu, jest czujna na wykrywanie ataków z wykorzystaniem wybranych wartości, ma ograniczony zakres [0,1]. Używane, gdy: potrzebny jest ograniczony zakres lub algorytmy wymagają wejść w zakresie [0,1] (sieci neuronowe). Standardizacja (skalowanie z-score): Przekształca do średnia=0, std=1. Formuła: (x - średnia) / odchylenie standardowe. Zachowuje ataków z wykorzystaniem wybranych wartości, ma nieograniczony zakres i centruje dane wokół zera. Używane, gdy: cechy mają różne skale, algorytmy przyjmują standardizowane wejścia (SVM, regresja logistyczna) lub chcesz zachować ataków z wykorzystaniem wybranych wartości. Kiedy używać: Standardizacja jest bardziej powszechna i odporna na ataków z wykorzystaniem wybranych wartości. Normalizacja działa dobrze, gdy potrzebujesz określonego zakresu. Zawsze dopasuj skalery tylko do danych treningowych, a następnie przekształć walidacyjne/dane testowe. Obie są ważne dla algorytmów opartych na odległości (K-means, SVM) i optymalizacji gradientowej (sieci neuronowe). Wielu algorytmów korzysta z skalowanych cech.

Zmienne kategoryzacyjne potrzebują kodowania dla algorytmów uczenia maszynowego: Kodowanie jednokrotne (one-hot): Tworzy bieżące kolumny dla każdej kategorii. Ważne zalety: Brak przyjęcia porządku, działa dobrze dla kategoryzacyjnych nominałów. Negatywne zalety: Wysoka wymiarowość dla wielu kategorii, może spowodować multicollinearity. Używane dla: Nominal categories (kolor, miasta). Kodowanie etykietowe: Przypisuje liczbowe etykiety do kategorii. Ważne zalety: Proste, zachowuje wymiarowość. Negatywne zalety: Podawanie porządku (może zmylić algorytmy). Używane dla: Porządkowe kategorie (rozmiar: mały, średni, duży) lub drzewa decyzyjne (zdołają zatem zrozumieć kodowanie etykietowe). Kodowanie cech na podstawie docelowej zmiennej: Koduje kategorie używając statystyk docelowych. Ważne zalety: Zaszczyca relacje docelowe, efektywna. Negatywne zalety: Risk of overfitting, requires careful validation. Używane dla: Wysokiej-cardinalności kategorii (dużej liczba unikalnych wartości). Inne metody: Kodowanie binarne, kodowanie zaszyfrowane, częstotliwościowe kodowanie i węzlowe kodowanie (dla uczenia głębokiego). Wybierz kodowanie na podstawie: typu kategorii (nominal vs porządkowy), liczby kategorii, wymagań algorytmów i relacji z docelową zmienną.

Selekcja cech identyfikuje i usuwa nieistotne lub nadmierne cechy, zachowując tylko najbardziej użyteczne do prognozowania. Znaczenie: Redukuje overfitting (mniej cech = prostejsze modele), poprawia interpretowalność modelu, szybciej trenuje i przewiduje, zrównościna od nieistotnych cech i może poprawić wydajność modelu. Metody: Filtrowe (testy statystyczne, korelacja), opakowane (wybór wsteczny/przód, używając wydajności modelu), wbudowane (regularizacja L1/L2, ważność cech drzew decyzyjnych) i selekcja uniwarianta (testy statystyczne). Najlepsze praktyki: Użyj wielu metod, waliduj na oddzielnym zestawie danych, rozważ interakcje cech i nie usuwaj cech przed czasem (sprawdź wpływ na wydajność). Selekcja cech jest szczególnie ważna dla danych o wysokiej wymiarowości. Jednak pamiętaj, że usunięcie cech jest nieodwracalne - zawsze waliduj, czy selekcja poprawi a nie zaszkodzi wydajności.

Skalowanie cech jest kluczowe, gdy cechy mają różne skale lub jednostki: Zawsze skaluj dla: Algorytmów opartych na odległości (K-means, KNN, SVM - obliczenia odległości są zależne od skali), optymalizacji gradientowej (sieci neuronowe, descent gradient - szybszy konvergencja z skalowanymi cechami), i regularizacji (L1/L2 penalties zależą od skali). Opcjonalnie dla: Algorytmów drzew decyzyjnych (drzewa decyzyjne, lasy losowe - odporny na skale, ale może pomóc), a także algorytmów, które nie używają odległości ani gradientów. Jak skalować: Dopasuj skalery tylko do danych treningowych, przekształć treningowe, walidacyjne i zestawy testowe, użyj tych samych parametrów skali dla wszystkich zestawów, a następnie zapisz skalery do użytku w produkcji. Popularne błędy: Skalowanie całego zestawu danych przed podziałem (współczynnik wpływu), użycie różnych skalierów dla trening/test (niepoprawna skala) i zapomnienie o skalowaniu cech w produkcji. Gdy wątpliwości, skaluj swoje cechy. Najczęściej to nie przeszkadza i często pomaga. Standardizacja (z-score) jest najczęściej wybierana.