Торкання між ухилом та дисперсією: Чому кожна модель повинна обирати свої помилки

Два абсолютно різних способи помилки для моделі

Кожна передбачувана модель робить помилки, але не всі вони виникають з одного й того ж джерела. Уявіть, що навчаєте одну й ту саму модель на кількох різних випадкових зразках, взятих із однієї й тієї ж основної популяції – скажімо, на кількох різних опитуваннях цін на нерухомість у одному місті. Модель із високим ухилом схильна робити однакові систематичні помилки незалежно від того, з якого зразка вона була навчена: вона може постійно недооцінювати ціни в престижних районах, незважаючи на те, які саме будинки потрапляли до її конкретного навчального зразка, оскільки сама модель занадто проста, щоб відобразити цю залежність. Модель із високою дисперсією, навпаки, виробляє дуже різні прогнози в залежності від того, який саме зразок вона була навчена – незначна зміна будівель у навчальних даних призводить до помітно іншого, і часто набагато менш надійного, результату.

Ухил – це помилка, що виникає через неправильні припущення, закладені в саму модель – різниця між тим, що може відображати модель, та тим, яким насправді є справжній основний зв’язок. Дисперсія – це помилка, що виникає через надмірну чутливість до специфічних особливостей і шуму одного навчального зразка. Короткий опис: високий ухил означає, що модель постійно проґавлює ціль у одному й тому ж напрямку; висока дисперсія означає, що прогнози моделі розкидані по всій цілі, не послідовно з одного спроби до іншої.”]}**

Недонавчання та перенавчання є видимими симптомами

Упередження та дисперсія є основними статистичними причинами; недонавчання та перенавчання – це те, що ви спостерігаєте, коли оцінюєте модель. Модель недонавчання (високе упередження) погано працює навіть на даних, на яких вона була навчена, оскільки вона занадто проста, щоб захопити справжній взаємозв’язок – приклад з підбором прямої до залежності, яка фундаментально криволінійна, є класичним. Як навчання, так і валідація точності будуть невтішними та схожими між собою, оскільки обмеження моделі структурне, а не пов’язане з запам'ятовуванням шуму,

Модель перенавчання (висока дисперсія) робить протилежне: вона досягає чудової, іноді майже ідеальної точності на даних, на яких вона була навчена, оскільки має достатньо гнучкості, щоб запам’ятати конкретні приклади, які бачила – включаючи їхній шум, викиди та випадкові закономірності, які насправді не узагальнюються. При оцінці на нових, невидимих даних валідації продуктивність помітно падає. Ця різниця між продуктивністю під час навчання та продуктивністю під час валідації є найкориснішим діагностичним сигналом в застосованому машинному навчанні: широка різниця вказує на перенавчання (дисперсія), а однаково погана продуктивність як у наборі даних для навчання, так і у наборі даних для валідації – на недонавчання (упередження).

Чому ви не можете одночасно мінімізувати обидва фактори

Слово "компроміс" тут працює в повну міру: зменшення упередженості та зменшення дисперсії зазвичай тягнуть модель у протилежні напрямки. Збільшення складності моделі – додавання більшої кількості ознак, більшої кількості поліноміальних членів, більшої кількості шарів, більшої глибини річного дерева прийняття рішень – дозволяє їй представляти більш складні зв’язки, що зменшує упередження, оскільки модель тепер достатньо гнучка, щоб вірно відображати справжній основний закономірність. Але ця ж додаткова гнучкість також дає моделі більше простору для впровадження шуму, специфічного для вибірки навчання, що збільшує дисперсію.

При умові побудови графіків залежності від збільшення складності моделі, помилка навчання безперервно зменшується – достатньо складна модель завжди може краще підходити до своїх навчальних даних, навіть доводячи їх до ідеального запам’ятовування. Помилка валідації, однак, простежує U-подібну або J-подібну криву: спочатку вона падає, оскільки збільшення складності допомагає моделі захопити справжні закономірності, досягає мінімуму на певному “оптимальному” рівні складності та потім зростає знову, коли додаткова складність починає впроваджувати шум замість сигналу. Очікувана загальна помилка, яку робить модель на нових даних, може бути розкладена математично на три домінуючі частини: квадрат упередження, дисперсія та невід’ємний шум, властивий самій проблемі (помилка вимірювання, справді випадкові фактори), який жодна модель, незалежно від того, наскільки вона хороша, не може усунути. Практична мета вибору моделі – знайти точку на осі складності, де сума упередження та дисперсії є найменшою – не нульове упередження, не нульова дисперсія, а найкращий доступний баланс.

Діагностика положення моделі

Побутування кривих навчання — помилка тренування та валідації як функція від кількості використаних даних для тренування — є одним із найпрямуших способів діагностувати, чи страждає модель більше від упередженості чи дисперсії. Якщо обидві криві збігаються до подібного поганого рівня помилки при додаванні більшої кількості даних і це не закриває проміжок, модель недонавчається; рішення полягає в збільшенні складності моделі (більше ознак, більш гнучкий алгоритм) замість збору більшого обсягу даних. Якщо крива тренування залишається низькою, а крива валідації значно вища, навіть при додаванні більшої кількості даних, модель перенавчається; тут додаткові дані для тренування, регуляризація або простіша архітектура моделі, ймовірно, будуть більш корисними, ніж додавання ознак.

Крос-валідація, де набір даних повторно ділиться на різні частини для тренування та валідації і результати усереднюються, дає значно надійніше читання про цей проміжок, особливо для менших наборів даних, де випадкове розділення може дати оманливе уявлення про те, де знаходиться модель на спектрі складності.

Практичні інструменти для зміщення балансу

Як тільки ви визначили, на яку сторону торгу стає нестерпною для вашої моделі, існує ряд стандартних технік, які можуть повернути її до оптимального місця. Для зменшення упередження (боротьба з недонавчанням): використовуйте більш гнучку модельну класову структуру, додайте більше інформативних ознак, зменште силу регуляризації або збільште час навчання. Для зменшення дисперсії (боротьба з перенавчанням): збирайте більше даних для навчання, застосовуйте регуляризацію (штрафи L1/L2, які відганяють надмірно великі ваги, або dropout у нейронних мережах), зменшуйте складність моделі (менше ознак, менші дерева, менше шарів), використовуйте ансамблеві методи, які усереднюють багато моделей для скасування індивідуальної дисперсії, або припиніть навчання на ранній стадії, коли продуктивність валідації перестає покращуватися. Усвідомлення того, що ці ручки діють в протилежних напрямках на тектони упередження та дисперсії – і вибір правильної з них для спостережуваного симптому, а не застосування універсального рішення – є одним із найцінніших діагностичних навичок у практичній роботі з машинного навчання.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте the simulation і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.