Priorytetowanie Projektów Uczenia Maszynowego: Ocena RICE i Macierz Waaroci-Wydatku

Dlaczego pierwszy projekt ma większą wartość niż model za jego plecami

Po zidentyfikowaniu kilku problemów odpowiednich dla uczenia maszynowego, firma staje przed trudniejszym pytaniem: który z nich zbudować jako pierwszy, biorąc pod uwagę ograniczone dostępne fundusze, czas i uwagę organizacji. Wybór pierwszego projektu jest nieproporcjonalnie ważny, ponieważ naprawdę testuje zaufanie, a nie technologię. Powodujący sukces pierwszy projekt dowodzi, że uczenie maszynowe działa w tym konkretnym biznesie (a nie tylko w dużych firmach technologicznych), że zaproponowana rentowność inwestycji jest rzeczywista, że zespół może prawidłowo prowadzić i utrzymywać to, co zostanie stworzone, a także że kultura organizacji może wchłonąć system oparty na danych. Porażka pierwszego projektu ma tendencję do przynosić długotrwałe szkody: strata zaufania liderów, wzrost sceptycyzmu ze strony pracowników ("to ci powiedzieliśmy"), a budżety na uczenie maszynowe są zatrzymywane przez rok lub więcej. Często wymieniana jest taka modele: większość firm, które nie powiodły się w swoim pierwszym projekcie ML, w ciągu dwóch lat nie próbuje ponownie stworzyć drugiego projektu.

Idealny pierwszy projekt opisany jest jako "projekt Goldilocks": szybko dostarczony (dwa do czterech miesięcy do minimalnego produktywnego produktu), z moderatej budżetem ($5,000–25,000 zamiast setki tysięcy), z jasno mierzaną rentownością inwestycji, wspartym przez rzeczywiste dostępne i przytłumione dane, o wystarczająco niskim ryzyku, aby nieokreślony rezultat nie był katastroficzny, widoczny do tego stopnia, że liderzy i pracownicy mogą zobaczyć rezultat, a jednocześnie dostatecznie samonadany, aby nie zależał od kilku innych niewykonanych projektów.

Metoda oceny RICE

Metoda RICE, pochodząca z zarządzania produktami i doskonale nad🤔pisywana do rangowania kandydatów w projektach ML, ewaluuje każdy projekt na podstawie czterech czynników i łączy je w jedno porównywalne liczbę:

OCENA RICE = (Osiąg × Wpływ × Pewność) / Stałość

Porównanie pracownicze między kandydatami projektowymi

Załóżmy, że firma ma pięć krótko zlistowanych kandydatów w dziedzinie uczenia maszynowego. Ocena każdego z czynników i obliczenie RICE prowadzi do utworzenia uporządkowanej listy:

W tym przypadku chatbot wygrywa jednoznacznie na podstawie RICE, głównie ze względu na niską jego ilość wysiłku w stosunku do osiągniętego zasięgu — platforma SaaS wymagająca konfiguracji zamiast niestandardowego rozwoju drastycznie zmienia licznik wysiłku. Uwaga: RICE jest pomocniczym narzędziem decyzyjnym, a nie oraclem: model przewidywania odchyleń ma znacznie większy wpływ na każdego klienta i może nadal być najlepszą priorytetem strategicznym, jeśli utrzymanie klientów jest główną zdefiniowaną koncernem rady zarządzającej w tym roku. RICE powinno wpływać na uporządkowanie, ale nie zastępuje oceny dotyczące dopasowania strategicznego.

Simplszy alternatywny podkład: macierz wartości wobec wysiłku

Jeśli RICE wydaje się zbyt precyzyjne dla zadania początkowego, 2x2 macierz działa prawie równo. Ocenić wartość biznesową każdego projektu (0–10, gdzie 10 może reprezentować ponad $500,000 w oszczędnościach lub dochodzie rocznie) przeciwko wysiłku implementacji (0–10, gdzie 10 oznacza 12+ miesięcy i ponad $100,000). Projekty zlokalizowane w kwadrantie niskiego wysiłku i wysokiej wartości powinny być szybkimi zwycięskimi przypadkami i zwykle powinny być pierwszymi do wykonania; projekty o wysokim wysiłku i wysokiej wartości są istotnymi projektami, które warto rozważyć po tym, jak organizacja zdobędzie spowodowany nią dynamizm; projekty o wysokiej wartości i wysokim wysiłku związane z długoterminową pozycjonowaniem konkurencyjnym są strategijnymi decyzjami warto podjąć nawet jeśli nie będą pierwszymi; a wszystko, co ma niską wartość, powinno być w ogólnej formie deprioretyzowane, niezależnie od tego, jak łatwo wygląda.

Elementy, które powinny dostosować rangę poza punktacją netto

Wiele kwalitatywnych czynników może uzasadnie zastąpić bliskie rankingi RICE. Priorytet powinien wzrosnąć, gdy: doradca wysokiego stopnia jest osobistym zwolennikiem wyników i ochrona zasobów projektu; istnieje konkretny wewnętrznyampion, który będzie motywował do przyjęcia i zarządzania oporami; projekt ma synergie z inną już rozpoczętą inicjatywą (na przykład wdrożenie oceny prowadzącej natychmiast po nowym wdrożeniu CRM); ból jest urgenty i się pogarsza, a nie stabilny; lub istnieje gotowy rozwiązanie, które unika budowy od podstaw. Priorytet powinien spadnąć, gdy: projekt zależy od innej niedogodnej pracy; zawiera znaczące ryzyko regulacyjne lub zgodności wymagające zgody; podstawowe dane potrzebują miesięcy czyszczenia z nieokreślonym przynęceniem nawet po tym wpływie; istnieje aktywne opór ze strony osób, które muszą korzystać z systemu; lub zależy od niewypróbnego, najnowoczesnego technologii dodającego niepotrzebne ryzyko techniczne do już niepewnej pierwszej inicjatywy.

Tworzenie szeregu na dwanaście miesięcy i unikanie typowych błędy

Rozsądne domyślne struktury roadmapu mają następującą formę: pierwszy kwartal — zamknięcie kluczowych wad gotowości i uruchomienie jednego szybkiego zwycięskiego projektu; drugi kwartal — ocena rzeczywistego ROI pierwszego projektu, a następnie rozpoczęcie drugiego szybkogodziowego projektu lub rozpoczęcie głównego projektu, jeśli poprzedni się powiódł; trzeci kwartal — kontynuacja głównego projektu do jego zakończenia, jednocześnie utrzymując szybkie zwycięskie projekty w działaniu; czwarty kwartal — ocena pełnej portfeli, zweryfikowanie i usunięcie podperformujących elementów, skalowanie tego co działa, a opcjonalnie rozpoczęcie jednego eksperymentalnego projektu w nowym kierunku. Rozmiar firmy powinien kształtować poziom równoległości: mała firma jest zwykle najlepiej uszczególniona w prowadzeniu jednego projektu na raz; firmę średniej wielkości można zwykle prowadzić, wykonując jeden lub dwa szybkie zwycięskie projekty równolegle z jednym głównym projektem; duża przedsiębiorstwo może prowadzić prawdziwy portfel, rozłożony na około 30% szybkogodziowych projektów, 50% głównych projektów i 20% pracy eksperymentalnej.

Warto jasno wymienić powtarzające się błędy: rozpoczęcie najbardziej ambicjonalnego projektu, aby „zrobić wrażenie,” co mnoży ryzyko widocznej wcześniejszej porażki; prowadzenie zbyt wielu projektów naraz i nie dokonanie żadnego z nich dobrze; wybór projektu ze względu na istniejące tam dobre dane, a nie dlatego, że rozwiązuje rzeczywiste ból, co tworzy techniczne modely, które nikt nie używa; śledzenie trendy technik dla ich samego celu, zamiast najprostszej metody rozwiązującej problem; oraz ignorowanie osób, które rzeczywiście używają systemu, zakładając, że jedynie wsparcie prowadzącego spowoduje adopcję.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Prioritising Machine Learning Projects: RICE Scoring and the Value-Effort Matrix i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.