🎓 Silnik adaptacyjnego uczenia — śledzenie wiedzy na żywo
Obserwuj, jak model śledzenia wiedzy aktualizuje swoją estymatę opanowania materiału przez symulowanego ucznia po każdym udzielonym odpowiedzi pytaniu, i zobacz, jak wybór kolejnego pytania adaptuje się w czasie rzeczywistym.
O silniku adaptacyjnego uczenia
Platformy adaptacyjnego uczenia, takie jak Khan Academy, Duolingo czy ALEKS, stają wobec tego samego podstawowego problemu: prawdziwe zrozumienie umiejętności przez ucznia nigdy nie jest bezpośrednio obserwowalne, a jedynie wnioskowane z zaszumionego strumienia poprawnych i błędnych odpowiedzi. Bayesowskie śledzenie wiedzy (BKT), algorytm stojący za dekadami inteligentnych systemów tutorskich, rozwiązuje to, traktując opanowanie każdej umiejętności jako ukryte prawdopodobieństwo P(L) i aktualizując je regułą Bayesa po każdej próbie, wykorzystując dwa parametry uciążliwe — zgadywanie i poślizg — które oddzielają prawdziwe zrozumienie od szczęśliwych zgadnięć i nieuważnych błędów. Ta symulacja implementuje dokładnie ten model, w pełni, dla symulowanego ucznia przechodzącego przez pięć niezależnych umiejętności matematycznych, z których każda ma własny ukryty prawdziwy stan opanowania i własną żywą bayesowską estymatę, którą możesz obserwować ewoluującą pytanie po pytaniu.
Każda symulowana odpowiedź uruchamia rzeczywisty czteroetapowy cykl BKT: pytanie jest wybierane przez politykę adaptacyjną, odpowiedź jest losowana stochastycznie z prawdziwego ukrytego stanu ucznia poprzez parametry zgadywania/poślizgu, sam ukryty stan może przejść w kierunku opanowania, a przekonanie modelu jest aktualizowane wzorem bayesowskiego rozkładu a posteriori, zanim wpleciona zostanie transformacja tempa uczenia. Wykres słupkowy opanowania, panel uzasadnienia wyboru oraz kroczący trend dokładności/wzrostu opanowania aktualizują się na żywo z tych obliczeń — nic tutaj nie jest zaskryptowane ani wcześniej zanimowane.
Najczęściej zadawane pytania
Czym jest bayesowskie śledzenie wiedzy i co zakłada o uczącym się?
Bayesowskie śledzenie wiedzy (BKT), wprowadzone przez Corbetta i Andersona w 1995 roku, modeluje wiedzę uczącego się na temat konkretnej umiejętności jako pojedynczą ukrytą zmienną binarną: albo opanowaną, albo jeszcze nieopanowaną. Nigdy nie obserwuje tego stanu bezpośrednio — widzi jedynie, czy każda odpowiedź była poprawna czy błędna — i utrzymuje prawdopodobieństwo P(L), że umiejętność jest obecnie opanowana, aktualizując to prawdopodobieństwo regułą Bayesa po każdej próbie. Ta symulacja uruchamia dokładnie ten model dla pięciu niezależnych umiejętności jednego symulowanego ucznia: każda umiejętność ma własny prawdziwy ukryty stan opanowania (którego model nigdy nie widzi) i własną żywą estymatę P(L) (którą możesz obserwować, jak porusza się po każdym pytaniu), dzięki czemu możesz bezpośrednio porównać przekonanie modelu z prawdą, którą stara się on wywnioskować.
Co oznaczają parametry zgadywania i poślizgu i dlaczego surowy procent poprawnych odpowiedzi nie może mierzyć opanowania?
Zgadywanie (g) to prawdopodobieństwo, że uczeń, który NIE opanował umiejętności, mimo to odpowie poprawnie — na przykład dostrzegając wzorzec w opcjach wielokrotnego wyboru. Poślizg (s) to prawdopodobieństwo, że uczeń, który OPANOWAŁ umiejętność, mimo to odpowie błędnie — nieuważny błąd. Z powodu tych dwóch efektów pojedyncza poprawna odpowiedź nie jest dowodem opanowania, a pojedyncza błędna odpowiedź nie jest dowodem niewiedzy: sam procent poprawnych odpowiedzi myli umiejętność ze szczęściem. BKT wyraźnie rozdziela te dwie rzeczy, utrzymując zgadywanie i poślizg jako stałe parametry uciążliwe i wnioskując ukryte prawdopodobieństwo opanowania, które najlepiej wyjaśnia całą sekwencję poprawnych i błędnych odpowiedzi, a nie tylko ostatnią z nich.
Jak dokładnie działa aktualizacja bayesowska po każdej odpowiedzi?
Przed pytaniem model ma uprzednie prawdopodobieństwo P(L), że umiejętność jest opanowana. Jeśli odpowiedź jest poprawna, rozkład a posteriori wynosi P(L|poprawna) = [P(L)·(1−s)] / [P(L)·(1−s) + (1−P(L))·g] — prawdopodobieństwo uzyskania poprawnej odpowiedzi dzięki prawdziwemu opanowaniu, podzielone przez całkowite prawdopodobieństwo jakiejkolwiek poprawnej odpowiedzi (przez opanowanie lub przez szczęśliwe zgadnięcie). Jeśli odpowiedź jest błędna, rozkład a posteriori wynosi P(L|błędna) = [P(L)·s] / [P(L)·s + (1−P(L))·(1−g)] — prawdopodobieństwo poślizgu, podzielone przez całkowite prawdopodobieństwo jakiejkolwiek błędnej odpowiedzi. Ta symulacja oblicza dokładnie te dwa wzory po każdym symulowanym pytaniu i wyświetla liczby opanowania przed i po w panelu „Ostatnie pytanie”.