Najczęstsza błąd: rozpoczęcie od technologii
"Mamy dane, zastosujmy uczenie maszynowe" jest jednym z najbardziej wiarygodnych przewidywań utraty budżetu. Poprawny punkt wyjścia ma exactly opposite order: "Mamy problem X, który kosztuje nas $Y rocznie. Czy uczenie maszynowe może go rozwiązać bardziej efektywnie niż obecnie robimy?" To jedno odwrócenie porządku — problem pierwszy, technologia druga — jest prawdopodobnie jednym z najważniejszych czynników determinujących, czy inicjatywa ML przyniesie wartość.
Prosta pięcio literowa ramka, PIERS, sprawia, że ta dyscyplina staje się konkretną i powtarzalną: Ból (co naprawdę bolało), Wpływ (jak duży jest wpływ rozwiązywania go), Dowód (czy istnieją dane do poparcia tego?), Powtarzalność (czy występuje często to, co może być automatyzowane?), Rozwiązanie (czy ML może to zrobić lepiej niż alternatywy?). Problem jest silnym kandydatem na uczenie maszynowe tylko wtedy, gdy szczerą odpowiedź na wszystkie pięć pytań jest tak.
Krok 1: systematycznie mapuj ból firmy
Przed oceną czegokolwiek wobec PIERS, stwórz rzeczywistą listę kandydatów na problemy. Zbierz na jednym-hour session heads z różnych działów — sprzedaż, marketing, wsparcie klienta, logistyka, finanse — i pozwól im nazwać swoje trzy najbardziej powtarzające się ból w formie trzech punktów, z przybliżonym miesięcznym kosztowaniem i notatką na ile często występują. Typowy wynik wygląda mniej więcej tak:
Takie spotkanie zwykle odkrywa od piętnastu do trzydziestu kandydatów na problemy — znacznie więcej, niż firma powinna próbować rozwiązać naraz, co dokładnie wyjaśnia ważność kolejnego kroku filtrowania.
Krok 2: filtryzacja za pomocą sprawdzika odpowiedności ML
Nie każdy problem biznesowy należy do dziedziny uczenia maszynowego. Sześć warunków dają silny dodatni sygnał:
Nawet w przeciwnym razie, problem jest słabej pasji, jeśli nie ma dostępnych danych, zdarza się rzadko, wymaga autentycznego kreatywnego lub emocjonalnego rozsądku, każda instancja jest unikatowa bez powtarzającego się wzoru, lub firma ma zero cierpliwości dla błędu i nie ma możliwości recenzji przez człowieka.
Krok 3: klasyczfikacja przetrwanych problemów według typu zadania uczenia maszynowego
Po tym, jak lista problemów zostaje zfiltrowana, przypisanie każdego z nich do standardowego typu zadania uczenia maszynowego jasnowato sprawdza obecność możliwości rozwiązania oraz rodzaj zespołu potrzebnego do jego rozwiązywania:
Krok 4: rangowanie według wartości w stosunku do złożoności
Z listą skróconą problemów odpowiednich dla uczenia maszynowego, zapisz każdy na prostej 2x2 macierzy: wartość biznesowa na jednym osi, złożoność implementacji na drugim. Problemy, które są zarówno wysokiego wartości i niskiej złożoności, to „przywileje szybkiej realizacji” i powinny w generalności być pierwsze, ponieważ najwyraźniej potwierdzają koncept. Wysokiego wartości, wysokiego złożoności problemy są „dużymi projektami”, które są wartośćiowe do dalszej rozwijania po osiągnięciu przez organizację dowodu na skuteczność. Problemy o niskiej wartości — niezależnie od złożoności — powinny w generalności być deprioritizowane, ponieważ nawet proste zwycięstwo ma mało znaczenia, jeśli wpływ biznesowy podstawowy jest mały. Przykładowa artykuła na temat systemów rangowania przedstawia ten krok rangowania w dalszej mierze za pomocą metody RICE.
Krok 5: zapisz problem poprawnie przed podejściem do zespołu technicznego
Dobrze określony szkic problemu uczenia maszynowego powinien obejmować sześć elementów: nazwę problemu; bieżący stan, w tym sposób rozwiązywania problemu obecnie, koszt ten rozwiązania i bieżące metryki bazowe; pragniony przyszły stan z docelowymi metrykami i definicją sukcesu w konkretnych liczbach; dostępne dane (źródło, ilość, jakość, czy istnieje użyteczna zmienna celu); ograniczenia (budżet, termin realizacji, minimalna dokładność, wymagania regulacyjne); a kryteria sukcesu z konkretnym zwracaniem inwestycji i oczekiwanym okresem zwrotu.
Oto pełny przykład dla dostawcy usług telekomunikacyjnych walczącą z utratą klientów: bieżący stan — 12% klientów opuszcza rocznie, odkrywane dopiero po podejmowaniu decyzji, przy średniej wartości życia klienta wynoszącej $300 na klienta, co sugeruje około $1.8 miliona rocznych strat w grupie 50 000 klientów. Pragniony stan — model przewiduje trzydzieści dni przedtem, które klienci są prawdopodobnie zamiłowani, z przynajmniej 75% powtórzenia, co pozwala na proaktywne oferty do utrzymania klientów; jeśli 40–50% z nagranych klientów zostanie pomyślnie utrzymano, to sugeruje $540 000–680 000 rocznych zysków netto po odejmowaniu kosztów utrzymania. Dane — trzy lata historii dla 50 000 klientów, z typem planu, okresem korzystania, częstotliwością kontaktów z pomocą techniczną, opóźnieniami w płatności i użytkowaniem jako cechami, około 95% kompletnych, oraz 12 000 przykładów historycznej utraty klientów w ostatnim dwa lata, aby służyć jako zmienna celu. Ograniczenia — budżet wynoszący $15 000, termin realizacji MVP trzy miesięcy, minimalna wymagana dokładność 70% (aby uniknąć wydawania ofert do utrzymania klientów, którzy zawsze zostaliby pozostali), oraz zgodność z standardowymi wymogami prywatności danych.
Tak szczegółowy szkic jest to, co pozwala zespołowi technicznemu ograniczyć zakres, podać cenę i dostarczyć projekt z realistyczną szansą na sukces — niejasne szkice są jednymi z najbardziej popularnych przyczyn ML projektów, które odchylają się od planu, przekraczają prognozy lub cicho zostają wpisane do magazynu.
Często zadawane pytania
Czym się zastępuje szkielet PIERS?
Ból, Wpływ, Dowód, Powtarzalność, Rozwiązanie — pięć pytań używanych do sprawdzenia, czy kandydat problemu biznesowego jest prawdziwie odpowiedni dla rozwiązania opartego na uczeniu maszynowym. Silny kandydat odpowiada tak na wszystkie pięć.
Ile danych potrzebuje firma przed rozpoczęciem pracy z ML?
To zależy znacząco od zadania, ale przybliżona minimalna wartość dla wielu standardowych problemów klasyfikacji i regresji to kilka setek do tysiąca przykładów, podczas gdy detekcja fraudek lub wykrywanie rzadkich zdarzeń wymaga więcej danych ze względu na niską częstotliwość występowania przypadków dodatnich. Jeśli historyczne dane używalne są jeszcze nieistniejące, często najlepszym ruchem jest rozpoczęcie systematicznego zbierania ich i ponowne podjęcie problemu w ciągu sześciu do dwunastu miesięcy.
Dlaczego częstotliwość problemu ma tak duże znaczenie przy wyborze projektu ML?
Automatyzacja przynosi korzyści poprzez powtarzalność. Proces występujący raz rokowo rzadko uzasadnia stały koszt budowy i utrzymania modelu; proces występujący setki razy dziennie może zyskać ten koszt w ciągu kilku tygodni jedynie dzięki oszczędności czasu i pieniężnym na indywidualnych instancjach.
Czy uczenie maszynowe jest kiedykolwiek nieodpowiednie, nawet gdy istnieją dane i wzory?
Tak — gdy koszt rzadko występujących błędu bez siatki bezpieczeństwa ludzkich jest niewykluczone, lub gdy zadanie prawdziwie wymaga kreatywnego czy emocjonalnego rozstrzygania się zamiast pasywnego dopasowywania wzorców do historycznego kryterium. W tych przypadkach ML może nadal pomóc ludowemu decydentowi, ale nie powinno go całkowicie zastąpić.
Co powinno znaleźć się w raportie projektu ML przed podejściem do zespołu technicznego lub dostawcy?
Sześć rzeczy: stwierdzenie problemu, obecne koszty i metryki, docelowe przyszłe metryki, opis dostępnych danych, jasno określone ograniczenia budżetowe i terminowe oraz kryteria sukcesu miernicze w tym oczekiwany ROI i okres zwrotu inwestycji. Raporty brakujące choćby jednego z tych elementów tendencjami do produkcjonie niejasnych, trudnych do skopiowania propozycji.
▶ Wypróbuj na żywo
Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz How to Find the Right Machine Learning Problem: The PIERS Framework i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.