Дерева К-Д: Швидкий Пошук Найближчого Сусіда в… |…

Чому це важливо

Це пояснює, як працюють найближчі сусіди. Якщо ви хочете знайти найближчий об'єкт до певного місця, вам потрібно перевірити кожен об'єкт у вашому списку. Це може бути дуже повільно, якщо у вас є багато об'єктів.

Дерева K-D: Швидкий Пошук Найближчого Сусіда в Багатовимірному Просторі

Дерево K-D (коротке для багатовимірного дерева) організовує набір точок, рекурсивно розділяючи простір за допомогою осей, паралельних гіперплощинам. На корені точки розділені на дві половини вздовж однієї осі, зазвичай вибираючи точку медіани вздовж цієї осі, щоб розподіл був збалансованим. Точки нижче медіани переносяться в ліве піддерево, а точки вище – у правий піддерево, а сама точка медіани стає розділяючою вузлом. Ключова хитрость полягає в тому, що вісь обертається з глибиною: для 2D даних ви можете розділяти за допомогою осі x на рівні 0, осі y на рівні 1, назад до осі x на рівні 2 і так далі, циклічно перебираючи всі k виміри, коли ви спускаєтеся. Кожне розділення ділить залишки точок приблизно навпіл, тому побудова збалансованого дерева таким чином займає загальний час O(n log n) (знаходження медіани серед m точок займає приблизно O(m) часу, застосований до O(log n) рівнів рекурсії). Результатом є бінарне дерево глибиною приблизно log2(n), в якому кожен вузол представляє область простору, паралельну осям, і кожне дитиння знаходиться строго всередині області батьківського.

Пошук: Спускайтесь і повертайтеся, щоб обрізати

Запит найближчого сусіда починається зі спуск дерева так само, як і бінарний пошук: на кожному вузлі порівнюйте координату точки запиту вздовж вимірювальної площини вузла з значенням вузла та йдете вліво або вправо відповідно, поки не досягнете листка. Точка в цьому листі стає початковим «поточним найкращим» припущенням із відстанню r до запиту. Але це припущення може бути неправильним, оскільки ближча точка може знаходитися просто за межею розділення, яку пропустив пошук. Отже, алгоритм потім відкочується вгору по дереву та на кожному предковій ноді ставить дешеве геометричне питання: чи може область з боку, яку не досліджували, містити точку на відстані r від запиту? Це перевіряється шляхом порівняння r із відстанню від точки запиту до розділяючої площини, одне одновимірне віднімання. Якщо ця невивчена область далі від поточної найкращої відстані, весь піддерево з цього боку обрізається та пропускається без жодного обчислення відстаней для точок всередині нього; якщо це може містити щось ближче, пошук рекурсивно входить до нього і потенційно оновлює поточне найкраще. Це рішення про обрізку або дослідження на кожному предківшому вузлі є тим, що дає k-d деревам їхню швидкість: на збалансованому дереві з приблизно рівномірно розподіленими точками запит торкається в середньому лише O(log n) вузлів, оскільки більшість гілок виключаються тестом обрізки без жодного обчислення відстаней для точок всередині них; якщо це може містити щось ближче, пошук рекурсивно входить до нього і потенційно оновлює поточне найкраще.

Прокляття вимірності

Ефект пояснює X. Цей ефект пояснює, чому ефективність дерева k-d падає з ростом розмірності (k). У низьких розмірах дерево k-d може швидко знаходити найближчих сусідів, але в високих розмірностях ця швидкість значно знижується. Чому це відбувається? У багатовимірному просторі точки стають все більш розсіяними, і відносна близькість між точками зменшується. Це називається

прокляттям вимірності

. Зі збільшенням розмірності дерева k-d потрібно перевіряти все більше та більше гілок, щоб гарантувати знаходження найближчого сусіда, що призводить до зниження продуктивності. Тому дерева k-d зазвичай ефективні лише для відносно невеликої кількості вимірів (зазвичай 2-20), і для високих розмірностей краще використовувати інші методи пошуку, такі як хешування на основі локальної чутливості або приблизні графові структури найближчих сусідів.

Дерева K-D: Практичне Застосування

Дерева K-D є основою багатьох застосунків в області геометрії та обчислювальної науки, завдяки їх здатності швидко знаходити найближчих сусідів. Наприклад, карти та програми логістики використовують їх для відповіді на запитання «наймай відстань до найближчого зарядного пристрою», «наймай відстань до найближчого магазину» або «наймай відстань до найближчого кур'єра» на основі великої кількості фіксованих місць розташування. У машинному навчанні, алгоритм k-найближчих сусідів (k-NN) передбачає мітку для нового пункту даних шляхом пошуку його k найближчих міток і голосування за більшість, а побудова дерева K-D над навчальними даними робить запит на пошук значно швидшим, особливо коли класифікуються багато нових точок у великому наборі даних. У комп'ютерній графіці та трасуванні променів вони використовуються для прискорення, швидко визначаючи, які з мільйонів трикутників сцени може перетинати заданий промінь, замість перевірки кожного трикутника в сцені. Робототехніка та планування руху використовують їх для швидкого виявлення зіткнень і запитів «найближчий до перешкод», дозволяючи роботові або автомобілю з самостійним керуванням багаторазово перевіряти своє оточення проти хмари точок, що представляють собою виявлені перешкоди, без повторного сканування всієї хмари кожного разу.

Часті запитання

Чому потрібно чергувати виміри розділення на кожному рівні дерева k-d?

Якщо кожен розлом використовував би один і той же вимір, дерево розділяло б точки лише вздовж одного ося та не могло б відрізняти точки, які в основному відрізняються вздовж інших осей, створюючи довгі, незбалансовані області, які погано працюють для обрізання найближчих сусідів. Чергування всіх k вимірів зі збільшенням глибини забезпечує внесок кожної осі у формування розділу, що призводить до відносно компактних областей у всьому напрямку, що і робить тест зворотного відстані ефективним для виключення гілок.

Яка часова складність побудови порівняно з запитом дерева k-d?

Побудова збалансованого дерева k-d з n точок займає O(n log n) часу, оскільки кожен із O(log n) рівнів рекурсивного розділення по середніх значеннях торкається всіх n точок один раз. Запит найближчого сусіда тоді займає в середньому O(log n) часу для збалансованого дерева у низьких та помірних розмірах, хоча його найгірший випадок становить O(n), якщо обрізання не може виключити багато гілок, що може статися з незбалансованими деревами, кластеризованими даними або високою розмірністю.

Чи може дерево k-d знаходити k найближчих сусідів, а не лише одного найближчого?

Так. Одна й та сама алгоритм спускання-обрізання природно узагальнюється: замість відстеження єдиної поточної кращої точки та відстані, пошук підтримує невеликий максимум-купу найкращих кандидатів, знайдених до цього часу, і тест обрізання порівнює мінімальну можливу відстань для кожного не дослідженого гілки з найгіршою (найдальшою) відстанню, яка зараз знаходиться в купі, а не єдиною кращою відстанню. Гілки, які не можуть перемогти поточну найкращу з k-кращих, ігноруються точно так само, як і раніше.

Як дерево k-d обробляє точки, що додаються або видаляються після побудови?

Наївне вставлення та видалення можливі, але можуть поступово збалансувати дерево, погіршуючи продуктивність запитів до лінійного пошуку з часом, оскільки ефективність дерева k-d залежить від того, щоб дерево залишалося приблизно збалансованим. Для наборів даних, які часто змінюються, поширеною практикою є періодичне побудову дерева заново з нуля, використання варіанту з логікою ребалансування або перехід до іншої структури, такої як R-дерево, яке більш грайливо справляється з динамічними оновленнями.

Чи є дерево k-d єдиною структурою, що використовується для просторового пошуку найближчих сусідів?

Ні. Існують пов'язані структури, такі як дерева кулевидних форм, які розділяють точки на вкладені гіперсфери замість орієнтованих на осі коробки та можуть краще працювати у вищих розмірностях або з нерівномірними даними; R-дерева, які є популярними в базах даних і системах геоінформаційних технологій завдяки їх здатності обробляти динамічні оновлення та запити діапазонів; і для дуже високих розмірностей або приблизного пошуку - хешування чутливості до локальності та графічні методи, такі як HNSW. Правильний вибір залежить від розмірності, чи змінюються дані з часом і чи прийнятна приблизна відповідь.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте K-D Trees: Fast Nearest-Neighbor Search in Multidimensional Space і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.

▶ Відкрити симуляцію K-D Trees: Fast Nearest-Neighbor Search in Multidimensional Space

Дерева К-Д: Швидкий Пошук Найближчого Сусіда в Багатовимірному Просторі