UK 
EnglishТипова
Polski🎯 Матриця плутанини та дослідник ROC-AUC
Бінарний класифікатор рідко видає жорстку мітку напряму — він видає неперервну оцінку, і саме вибір порогу рішення перетворює цю оцінку на передбачений клас. Усе, що на порозі або вище, називається «позитивним»; усе нижче — «негативним». Порівняння цих передбачень з істинними мітками дає матрицю плутанини: істинно позитивні (TP), хибно позитивні (FP), істинно негативні (TN) і хибно негативні (FN). Кожна стандартна метрика оцінки — точність, повнота, специфічність, F1 — це арифметична комбінація цих чотирьох чисел, і кожна з них змінюється при зміні порогу.
Про цю симуляцію
Бінарний класифікатор рідко видає жорстку мітку напряму — він видає неперервну оцінку, і саме вибір порогу рішення перетворює цю оцінку на передбачений клас. Усе, що на порозі або вище, називається «позитивним»; усе нижче — «негативним». Порівняння цих передбачень з істинними мітками дає матрицю плутанини: істинно позитивні (TP), хибно позитивні (FP), істинно негативні (TN) і хибно негативні (FN). Кожна стандартна метрика оцінки — точність, повнота, специфічність, F1 — це арифметична комбінація цих чотирьох чисел, і кожна з них змінюється при зміні порогу.
🔬 Що показано
Симулятор генерує два розподіли оцінок, що перекриваються, — один для істинно негативного класу, інший для істинно позитивного, — і дозволяє пересувати поріг вздовж них, оновлюючи матрицю плутанини в реальному часі. Проходження порогу від максимуму до мінімуму й побудова частки істинно позитивних проти частки хибно позитивних на кожному кроці утворює ROC-криву; площа під нею (AUC) — це реально обчислена, незалежна від порогу оцінка того, наскільки розділені два класи.
🎮 Як користуватись
Перетягуйте поріг рішення й спостерігайте, як матриця плутанини, ROC-крива, AUC та PR-крива оновлюються миттєво. Оскільки вісь частки хибно позитивних у ROC нормується на (часто величезну) кількість негативів, вона може виглядати оманливо добре на незбалансованих даних — саме тому поруч показано PR-криву, що нормується на кількість передбачених позитивів.
💡 Чи знали ви?
AUC дорівнює ймовірності того, що випадково обраний позитивний приклад отримає вищу оцінку, ніж випадково обраний негативний. AUC = 0,5 означає, що класифікатор не кращий за випадкове вгадування; AUC = 1,0 означає ідеальне розділення класів.
Часті питання
Що таке матриця плутанини?
Матриця плутанини — це таблиця 2×2, що зіставляє передбачені мітки бінарного класифікатора з істинними мітками: істинно позитивні (TP), хибно позитивні (FP), істинно негативні (TN) і хибно негативні (FN). Кожна метрика точності на основі порогу — точність, повнота, F1, специфічність — обчислюється прямо з цих чотирьох чисел.
Як будується ROC-крива за проходженням порогу?
ROC-крива будується проходженням порогу рішення від найвищого значення до найнижчого, перерахунком матриці плутанини на кожному кроці та побудовою частки хибно позитивних (вісь X) проти частки істинно позитивних (вісь Y) для кожного порогу. За дуже високого порогу майже нічого не передбачається позитивним, тож обидві частки починаються біля (0,0); коли поріг падає до мінімальної оцінки, усе передбачається позитивним і крива завершується в (1,1).
Що насправді вимірює AUC, і що означають 0,5 та 1,0?
AUC — це площа під ROC-кривою, еквівалентна ймовірності того, що випадково обраний позитивний приклад отримає вищу оцінку, ніж випадково обраний негативний. AUC = 0,5 означає, що класифікатор не кращий за випадкове вгадування (ROC-крива лежить на діагоналі); AUC = 1,0 означає ідеальне розділення — кожен позитивний приклад оцінюється вище за кожен негативний.
Чому PR-криві важливіші за ROC-криві для незбалансованих наборів даних?
Частка хибно позитивних у ROC-кривих нормується на кількість негативів, яка величезна в незбалансованому наборі даних — тож навіть велика кількість хибно позитивних може виглядати як крихітна FPR, і ROC-AUC лишається оманливо високим. Точність, яку використовує PR-крива, натомість нормується на кількість передбачених позитивних, тож прямо показує, як часто позитивне передбачення хибне.
Яка різниця між точністю та повнотою (TPR)?
Повнота (також істинно позитивна частка, або чутливість) — це TP / (TP + FN): яку частку всіх реальних позитивних приклад класифікатор виявив. Точність — це TP / (TP + FP): яка частка всього, позначеного як позитивне, справді позитивна. Підвищення порогу зазвичай підвищує точність, але знижує повноту, і навпаки.
Що таке F1-міра і коли її використовувати?
F1 — це гармонічне середнє точності та повноти: 2 × точність × повнота / (точність + повнота). На відміну від простого середнього, гармонічне середнє сильно знижується меншим із двох значень, тож F1 лишається високим, лише коли обидва показники досить високі. Це корисна одночислова оцінка при одному конкретному порозі.
Як зсув порогу рішення обмінює хибно позитивні на хибно негативні?
Підвищення порогу робить класифікатор консервативнішим: менше прикладів передбачається позитивними, що зменшує хибно позитивні, але збільшує хибно негативні. Зниження порогу робить протилежне. Немає порогу, що мінімізує обидва одночасно, коли розподіли оцінок перекриваються — вибір залежить від того, яка помилка дорожча в застосуванні.
Чому розділення класів змінює форму ROC-кривої?
Розділення класів визначає, наскільки далеко відстоять середні оцінки позитивного й негативного розподілів. Коли розподіли майже не перекриваються, майже будь-який поріг чисто розділяє класи, тож TPR росте значно швидше за FPR, вигинаючи ROC-криву до верхнього лівого кута й підштовхуючи AUC до 1,0. Коли розподіли сильно перекриваються, крива стискається до діагоналі, а AUC наближається до 0,5.