Co maszyny uczące się ukrywają o cenę i popularność kursów online

Dlaczego rynki kursów online są dobrym testbedem dla zastosowanych technik uczenia maszynowego

Rynki edukacji online stanowią niezwykle przydatne miejsce przecięcia się dla naukowców danych: każda oferta jest strukturalnie zestawionym zestawem cech liczbowych, kategorialnych i tekstowych (czas trwania kursu, cena, ocena nauczyciela, liczba zapisanych studentów, język nauczania, kategoria tematyczna, opis kursu) przypisanym do dwóch wyników, o których biznesy naprawdę się martwią — jak dużo kursu sprzedano i jak popularny on się okazał. To sprawia, że dziedzina staje się naturalnym przypadkiem badawczym dla dwóch najpopularniejszych zadań zastosowanych uczenia maszynowego: regresji (prognozowanie ceny ciągłej) i wieloklasowej klasyfikacji (prognozowanie dyskretnego poziomu popularności). Projekt analizy rynkowej oparty na skrapianym zestawie kursów z kraju online-edukacyjnego ilustruje pełny cykl pracy, od oryginalnych stron HTML do trenowanego zestawu modeli, który może być zapytany o nowe oferty.

Od skrapowanych list do tabeli gotowej do modelu

Materiał oryginalny jest niestrukturyzowany: strony kursów pobrane poprzez żądania i przetworzone za pomocą BeautifulSoup, co daje napisane tytuły i opisy, niejednorodne formaty trwania ('20 godzin', '3 miesiące', '2 tygodnie'), oraz etykiety kategorii, które się różnią lekko między platformami. Przekształcenie tego w tabelę gotową do modelu wymaga standardowych kroków inżynierii danych — normalizacji trwania do jednego numerycznego jednostki (godziny), wyodrębnienia czystej kwoty z napisanych ciągów monetarnych, jednokrotnej kodowania etykiet kategorii i języka, oraz przeprowadzenia lekkiego NLP (poprzez nltk) nad opisami do wytyczania cech takich jak długość opisu, obecność kluczowych słów ('zaawansowany', 'podstawowy', 'certyfikat') i podstawowe sygnały sentymentu lub tonu z dowolnych dostępnych recenzji. Po tej fazie czyszczenia zestaw danych staje się użyteczny do uczenia nadzorowanego — przypomnienie, że w większości rzeczywistych projektów ML krok modelowania stanowi małą część całościowego wysiłku w porównaniu do przygotowywania danych.

Prognozowanie ceny za pomocą boostingu gradientowego

Cena kursu okazuje się być prawdziwie uczoną wielkością, a nie szumem. Model regresji zboostingu gradientowego (XGBoost) treningowy na cechach takich jak kategoria przedmiotu, trwałość, ocena instruktora, platforma i język instrukcji osiągnął R² powyżej 0.8 na danych wybranej do walidacji — co oznacza, że model wyjaśnia ponad 80% wariancji cen podanych kursów korzystając tylko z strukturalnych cech kursu, bez czytania kopii marketingowej. Jest to przydatny wynik dla operatora rynku: sugeruje, że cena jest przede wszystkim oparta na widocznych i strukturalnych czynnikach (co kurs nauczany, jak długo trwa, kto go prowadzi) zamiast idiosyncratycznymi capcami cenowymi sprzedawców. Praktycznie, model takowy może wykrywać ogłoszenia cenie daleko od tego, co przewiduje ich cechy — czy to kursy podcenywane pozwalające na zyskanie pieniędzy, lub nadcenione, które są prawdopodobnie nieudane w zakonwertowaniu się.

Analiza ważności cech dla takiego modelu często odsłania kategorię przedmiotu jako dominujący czynnik, a następnie trwałość i sygnały dotyczące reputacji instruktora/platformy — co zgodnie jest z szerszym wzorem widocznym w wielu rynkach e-nauki: treści techniczne i umiejętności zawodowe kompensują się premium nad treścią ogólnozainteresowaną, a to premium jest wystarczająco duże, aby być dobrze przewidziane przed even jednego zakupu.

Popularność jako problem klasyfikacji

Gdzie cena jest naturalnie ciągła, popularność lepiej modeluje się jako problem klasyfikacji ordynarnego lub wieloklasowego, ponieważ 'ile dokładnie studentów zapisło' to bardziej szumowe i nieprzystępną docelowo niż coś przerywane. Podział liczb zapisanych (lub skompozycjonowany indeks popularności łączący liczby zapisanych, oceny i ilość recenzji) na cztery kategorie — np. niskie, średnie, wysokie i liderzy — oraz trening klasyfikatora do przewidywania członkostwa w danej kategorii ze steżem strukturalnymi cechami osiągnęło w tej konfiguracji projektu dokładność wyższą niż 85%. Ta wartość dokładności wymaga zaznanej porci soli: jeśli jedna kategoria (np. 'niska popularność') dominuje w zestawie danych, banalny bazowy model, który zawsze przewiduje klasyę większościową, mógł już uzyskać dobre wyniki, więc dowolna wiarygodna wersja tego analizy musi być sprawdzana wobec miar równoważnych klasowych, takich jak macro-F1, a nie jedynie na podstawie dokładności. Niezależnie od tego, znacząca odkrycie jest zgodne z intuicją i warto traktować poważnie: krótsze kursy (ok. 10–30 godzin) oraz kursy prowadzone w języku ucznia systematycznie klasują się do wyższych kategorii popularności, sugerując, że dostępność i obciążenie czasowe są co najmniej tyle ważne dla popytu jak temat.

Co modele sugerują o strukturze rynku

Kombinując oba modele, otrzymujemy bardziej interesujący obraz niż w przypadku jednego z nich samodzielnie. Kurs może być drogi i popularny (premium profesjonalne certyfikaty), tanio i popularny (krótkie praktyczne treści umiejętności), drogi i niewspierany (nichowe, długoterminowe kursy ekspertów z małym popytem), lub tanio i niewspierany (nieludzkie lub słabo promowane oferty). Mapowanie przewidywanej ceny na przewidywaną stopień popularności dla każdego kursu w katalogu efektywnie tworzy dwuwymiarowy mapę rynku bez żadnej jasno określonej kroki klusteryzacji — jest to bezpośrednia konsekwencja mając dwóch niezależnie walidowanych modeli przewidywawczych. W podstawowej bazie danych kursy IT i programistyczne skupiają się wzdłuż końcówki wysokiej ceny, instrukcje języka ojczystego są związane z końcem wysokiej popularności, a idealna pozycja dla objętości — kursy, które są jednocześnie średnio cenne i znajdują się w najpopularniejszych stopniach popularności — znajduje się około 20–40 godzin trwania.

Ograniczenia, które są warto podkreślić

Każdy model treningowy na podstawie skrapowanych danych rynkowych dziedziczy białości własnego rynku: kursy łatwiejsze do skrapowania (większe, bardziej zasięgające platformy) są nad/Branchowe. Wspólne zgłoszone liczby uczestników i ocen mogą być pozbawione prawdy, a wyrażone w postaci R²/ladkości parametry powyżej opisują dopasowanie do konkretnego historycznego obrazu, a nie gwarancję przyszłej predykcyjnej mocy, ponieważ ceny kursów i popyt się zmieniają z nowymi konkurencjami i trendami treści. Produkcja wersja tego pipeline powinna regularnie ponownie trenować, walidować poza czasem (trening na starszych ofertach, testowanie na nowszych) oraz idealnie przetestować A/B stylem przeciwko rzeczywistym danych konwersji, a nie tylko statycznym ocenom.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz What Machine Learning Reveals About Online Course Pricing and Popularity i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.