ШІ та машинне навчання ★★☆ Середній

🌲 Дерево Рішень — CART та Домішок Джині

Побудуйте та візуалізуйте дерево рішень CART крок за кроком. Спостерігайте, як алгоритм мінімізує домішок Джині G = 1−Σpᵢ² на кожному розбитті, та порівняйте глибину дерева з точністю класифікації.

3
5
100
Вузли: – Листи: – Глибина: – Точність: – Джині кореня: –

Запуск…

Генерація датасету. Алгоритм CART знаходить розбиття, паралельні осям, що мінімізують домішок Джині у кожному вузлі. Вузли відкриваються по одному.

Фізика

Критерій розбиття CART: Gini(S) = 1 − Σᵢ pᵢ². Найкраще розбиття мінімізує зважений домішок дочірніх вузлів: ΔGini = Gini(батько) − (|L|/|S|)·Gini(L) − (|R|/|S|)·Gini(R). Дерево росте до досягнення max_depth або min_samples_leaf. Обрізання через cost-complexity α·|листи|. Важливість ознаки = сумарне зменшення домішку Джині, зумовлене кожною ознакою на всіх розбиттях.

Про цю симуляцію

Ця симуляція будує дерево рішень CART на двовимірному датасеті та відкриває кожен вузол по одному. На кожному розбитті вона шукає в обох ознаках поріг, що мінімізує зважений домішок Джині дочірніх вузлів, G = 1 − Σpᵢ², утворюючи розрізи, паралельні осям. Ви спостерігаєте, як на графіку розсіювання формується межа рішення, поки відповідна діаграма дерева росте, що дає змогу легко побачити, як жадібне рекурсивне розбиття узгоджує глибину з точністю і як кожна ознака впливає на модель.

🔬 Що показує

Дерево класифікації, навчене за алгоритмом CART. Для кожного кандидата-порога на Ознаці X чи Ознаці Y воно обчислює інформаційний виграш ΔGini = Gini(батько) − (|L|/|S|)·Gini(L) − (|R|/|S|)·Gini(R) і зберігає найкраще розбиття. Вид розсіювання показує отримані прямокутні області рішень та пунктирні лінії розбиття; вид дерева показує вузли з позначенням правила розбиття, значення Джині та кількості зразків.

🎮 Як користуватися

Виберіть датасет кнопками пресетів (Лінійно роздільне, XOR, Два Місяці, Випадкове). Повзунок Макс. глибина (1–6) обмежує, наскільки глибоко росте дерево, Мін. зразків у листі (1–20) блокує розбиття, що залишили б замало точок, а Кількість точок (40–200) задає розмір датасету. Кнопками Пауза/Грати проходьте покрокове відкриття вузлів, а Скинути — щоб згенерувати заново. Статистика показує вузли, листи, глибину, точність і Джині кореня.

💡 Чи знали ви?

Домішок Джині та ентропія зазвичай дають дуже схожі дерева, але Джині дешевший, бо уникає логарифма, наявного в ентропії. Абсолютно чистий вузол, що містить лише один клас, має Джині 0, тоді як розбиття 50/50 для двох класів досягає максимуму 0.5.

Поширені запитання

Що таке дерево рішень CART?

CART (Дерева Класифікації та Регресії) — це метод навчання з учителем, який рекурсивно розбиває простір ознак розрізами, паралельними осям. Кожен внутрішній вузол перевіряє одну ознаку щодо порога й надсилає точки ліворуч або праворуч, а кожен лист присвоює клас більшості зразків, що до нього потрапили. Тут воно класифікує точки на два кольори — Клас 0 і Клас 1.

Як воно обирає, де розбивати?

У кожному вузлі алгоритм сортує точки за кожною ознакою та пробує середину між сусідніми значеннями як поріг. Він обирає розбиття з найбільшим зменшенням домішку Джині, ΔGini = Gini(батько) − (|L|/|S|)·Gini(L) − (|R|/|S|)·Gini(R). Цей жадібний, локально оптимальний вибір повторюється, доки правило зупинки не припинить ріст.

Що роблять елементи керування Макс. глибина та Мін. зразків у листі?

Макс. глибина обмежує, скільки рівнів може вирости дерево, тож глибше дерево може вирізати тонші області, але ризикує перенавчанням. Мін. зразків у листі відхиляє будь-яке розбиття, що залишило б у дочірньому вузлі менше точок, ніж задано, що утримує листи статистично значущими. Разом вони регуляризують дерево й дають змогу досліджувати компроміс між глибиною та точністю.

Чи є симуляція точною моделлю реальних дерев рішень?

Так, основна логіка повторює стандартний класифікатор CART: вичерпний пошук порога, виграш на основі Джині, листи за голосуванням більшості та важливість ознак, виміряна як сумарне зменшення Джині на ознаку. Її спрощено до двох ознак і двох класів задля наочності, і вона використовує попереднє обрізання через обмеження глибини та листа, а не обрізання за вартістю-складністю, яке застосовують у промислових бібліотеках.

Чому деревам важко з патернами XOR та Два Місяці?

Дерева рішень роблять лише розрізи, паралельні осям, тож плавні чи діагональні межі доводиться апроксимувати багатьма дрібними прямокутниками. Патерни як XOR і Два Місяці не мають жодного корисного розбиття, паралельного осі, поблизу кореня, тож дереву потрібна додаткова глибина, і воно утворює сходинкоподібну межу. Це обмеження — одна з причин, чому ансамблі на кшталт випадкових лісів і градієнтного бустингу поєднують багато дерев.