🧠 Двигун Адаптивного Навчання — Відстеження Знань Наживо

Байєсівське Відстеження Знань (BKT), представлене Корбеттом і Андерсоном у 1995 році, моделює знання учня з певної навички як єдину приховану бінарну змінну: або освоєно, або ще не освоєно. Воно ніколи не спостерігає цей стан безпосередньо — воно бачить лише, чи була кожна відповідь правильною чи неправильною, — і підтримує ймовірність P(L) того, що навичка наразі освоєна, оновлюючи цю ймовірність за правилом Байєса після кожної спроби. Ця симуляція запускає саме цю модель для п'яти незалежних навичок для одного симульованого студента: кожна навичка має власний справжній прихований стан майстерності (який модель ніколи не бачить) і власну живу оцінку P(L) (за якою ви можете спостерігати після кожного питання), тож ви можете безпосередньо порівняти переконання моделі зі справжньою істиною, яку вона намагається вивести.

Здогад (g) — це ймовірність того, що студент, який НЕ освоїв навичку, все одно відповідає правильно — наприклад, помітивши патерн у варіантах відповідей із множинним вибором. Промах (s) — це ймовірність того, що студент, який ОСВОЇВ навичку, все одно відповідає неправильно — неуважна помилка. Через ці два ефекти одна правильна відповідь не є доказом майстерності, а одна неправильна — доказом незнання: сам по собі відсоток правильних відповідей змішує навичку з удачею. BKT явно розділяє їх, тримаючи здогад і промах як фіксовані допоміжні параметри й виводячи приховану ймовірність майстерності, яка найкраще пояснює всю послідовність правильних і неправильних відповідей, а не лише останню.

Перед питанням модель має апріорну ймовірність P(L) того, що навичка освоєна. Якщо відповідь правильна, апостеріорна ймовірність P(L|правильно) = [P(L)·(1−s)] / [P(L)·(1−s) + (1−P(L))·g] — ймовірність отримати правильну відповідь через справжню майстерність, поділена на повну ймовірність будь-якої правильної відповіді (через майстерність чи через щасливий здогад). Якщо відповідь неправильна, апостеріорна ймовірність P(L|неправильно) = [P(L)·s] / [P(L)·s + (1−P(L))·(1−g)] — ймовірність промаху, поділена на повну ймовірність будь-якої неправильної відповіді. Ця симуляція обчислює саме ці дві формули після кожного симульованого питання й показує числа майстерності до і після на панелі «Останнє питання».

BKT припускає, що студент може навчитися з самої спроби відповісти на питання, незалежно від того, чи він відповів правильно, — зі зворотного зв'язку, з проходження через задачу чи просто з повторного впливу. Обчисливши байєсівську апостеріорну ймовірність зі спостереженої правильності, модель застосовує ще один крок: P(L_{наступний}) = P(L_апост) + (1−P(L_апост))·T, де T — ймовірність переходу (швидкість навчання) того, що неосвоєний студент переходить до майстерності на цій спробі. Критично важливо, що BKT припускає одностороннє навчання — майстерність ніколи не вважається забутою, — тож T завжди лише підвищує оцінку. Саме це контролює повзунок швидкості навчання в цій симуляції, і ви можете спостерігати, як вищі налаштування тягнуть оцінки майстерності до 100% набагато швидше.

Політика «Спершу найслабша навичка» просто задає питання з тієї навички, яка наразі має найнижчу оцінку P(L), концентруючи практику там, де модель вважає, що студенту потрібно найбільше, — це основна ідея систем адаптивного навчання на основі майстерності, таких як практичний двигун Khan Academy та ALEKS. «Зважено за невизначеністю» робить те саме ймовірнісно, вибираючи навички з шансом, пропорційним (1 − P(L)), тож слабкі навички отримують перевагу, але не детерміновано нав'язуються. «По колу» циклічно проходить навички у фіксованому порядку незалежно від майстерності, а «Випадково» обирає рівномірно випадково як базову лінію. Перемикання між цими політиками, спостерігаючи за стовпчиковою діаграмою майстерності, робить приріст ефективності від адаптивності безпосередньо видимим: «спершу найслабша» досягає повної майстерності в усіх п'яти навичках за помітно меншу кількість питань, ніж випадкова базова лінія.

Це точно те, що моделюють параметри здогаду й промаху, і саме тому BKT відстежує ймовірність, а не єдиний спостережений факт. Студент зі справжнім станом майстерності «не освоєно» все одно може відповісти правильно з ймовірністю g (щасливий здогад чи часткові знання, які цього разу спрацювали) — симуляція фактично кидає цю монетку щоразу, коли неосвоєному симульованому студенту задають питання. Симетрично, справді освоєний студент відповідає неправильно з ймовірністю s (миттєвий промах, неправильне прочитання питання чи описка). Оскільки обидва вони моделюються як справжні випадкові вибірки — а не заскриптовані результати, — ви побачите випадкові щасливі правильні відповіді на слабких навичках і випадкові невдалі промахи на навичках, які модель уже оцінює як добре освоєні, точно так, як це сталося б із реальним студентом.

Припущення BKT — це сильні спрощення: він трактує майстерність кожної навички як повністю бінарну й незалежну від усіх інших навичок, ігнорує частковий залік і час відповіді та припускає фіксовану ставку здогаду/промаху, а не таку, що змінюється залежно від складності питання чи студента. Сучасні дослідницькі системи, такі як Deep Knowledge Tracing (DKT, з використанням рекурентних нейронних мереж) та байєсівські розширення з параметрами складності для кожного пункту (ближче до Теорії Відповіді на Завдання), послаблюють ці припущення й часто точніше підганяються під реальні дані студентів, ціною значно меншої інтерпретованості — ви не можете зчитати єдину прозору ймовірність того, що студент освоїв дроби, з прихованого стану нейронної мережі так, як можете з BKT. Саме ця інтерпретованість — причина того, чому BKT, попри те що йому вже три десятиліття, залишається широко розгорнутим у реальних виробничих навчальних системах сьогодні.