Hyperparametry metryk oceny

Wprowadzenie

Hyperparametry metryk oceny kontrolują sposób pomiaru i porównywania wydajności modeli. Te parametry określają kryteria oceny, ustawienia próg oraz obliczenia metryk. Zrozumienie sposobu dostosowywania tych parametrów jest kluczowe dla dokładnej oceny i wyboru modelu.

Parametry metryk klasyfikacji

Miary wydajności klasyfikacji:

Harmoniczna średnia precyzji i czułości:

Pole pod krzywą ROC:

Parametry metryk regresji

Srednie kwadratowe bledy prognozy:

Srednie wartosci bezwzgledne bledow prognozy:

Stosunek wyznacznika:

Parametry niestandardowych metryk ocen

Metryki określone przez użytkownika:

Metryki zgodne z celami biznesowymi:

Parametry próg

Próg decyzyjny w klasyfikacji dwuczynnikowej:

Prógi dla klasyfikacji wielożyczeniowej:

Metryki walidacji krzyżowej

Metryki dla walidacji krzyżowej:

Metryki w zależności od rozmiaru treningu:

Parametry statystycznych testów

Porównaj wydajność dwóch modeli:

Porównaj dwa klasyfikatory binarne:

Parametry agregacji metryk

Oblicz metryki globalnie:

Oblicz metryki dla każdej klasy, a następnie srednio:

Waga według wsparcia klasy:

Wskazówki dotyczące wyboru metryk

Wybór metryk powinien być zgodny z celami biznesowymi i cechami problemu. Używaj wielu metryk, aby uzyskać pełny obraz wydajności modelu, a w przypadku zadań klasyfikacji rozważ optymalizację próg.

Strategie dostosowywania parametrów

Często zadawane pytania

Jak wybrać odpowiedni kryterium oceny?

Zweryfikuj typ problemu, rozkład klasy i cele biznesowe. Użyj dokładności dla zbalansowanej klasyfikacji, F1 dla danych niezbalansowanych, precyzji/odczytarości dla konkretnych wymagań, RMSE/MAE dla regresji.

Jaką jest różnica między mikro i makrosredniowaniem?

Mikrosredniowanie liczy metryki globalnie, a makrosredniowanie liczy na poziomie klasy i potem je średnicze. Użyj mikrosredniowania, gdy ważna jest niezbalansowanie klas, a makrosredniowania, gdy wszystkie klasy są równie ważne.

Jak otimizować próg klasyfikacji?

Użyj krzywych precyzji-odczytarości lub ROC, lub wyszukiwania siatkowego, aby znaleźć optymalne prógi. Otymizuj dla konkretnego metryki (F1, precyzji, odczytarości) na podstawie danych walidacyjnych.

Kiedy powinienem używać niestandardowych kryteriów oceny?

Użyj niestandardowych kryteriów oceny, gdy standardowe nie zapisują celów biznesowych. Rozważ wpływ na dochód, koszty lub wymagania specyficzne dla dziedziny. Upewnij się, że metryki są różniczkowalne do otymizacji.

Jak zarządzać oceną wieloklasową?

Użyj odpowiedniego średniania (mikrosredniowania, makrosredniowania, waga), rozważ metryki na poziomie klasy i użyj macierzy konfuzji do szczegółowej analizy. Wybierz metryki w oparciu o ważność i rozkład klas.

▶ Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Evaluation Metrics Hyperparameters i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.

▶ Otwórz symulację Evaluation Metrics Hyperparameters