Елка из шаров: Март 2023 ᐈ 🔥 (+56 фото) Елка из шариков своими руками мастер класс

KD-Tree и алгоритм Ball являются бинарными алгоритмами для построения такого дерева. Двоичный означает в этом контексте, что каждый родительский узел имеет только два дочерних узла. Обычно алгоритмы применяются при поиске ближайших соседей.

Алгоритм дерева шаров

Алгоритм дерева шаров можно рассматривать как метрическое дерево . Деревья метрик организуют и структурируют точки данных с учетом метрического пространства, в котором они расположены. При использовании метрик точки не обязательно должны быть конечномерными или векторными (Kumar, Zhang & Nayar, 2008).

Алгоритм делит точки данных на два кластера. Каждый кластер окружен кругом (2D) или сферой (3D). Сферу часто называют гиперсферой.

«Гиперсфера — это набор точек, находящихся на постоянном расстоянии от данной точки, называемой ее центром». — Википедия

От сферической формы кластера происходит название Алгоритм шарового дерева . Каждый кластер представляет собой узел дерева. Посмотрим, как работает алгоритм.

Дети выбираются таким образом, чтобы между ними было максимальное расстояние, обычно с использованием следующей конструкции на каждом уровне дерева.

Сначала устанавливается центроид всего облака точек данных. Точка с максимальным расстоянием до центроида выбирается как центр первого кластера и дочернего узла. Точка, наиболее удаленная от центра первого кластера, выбирается в качестве центральной точки второго кластера. Затем все остальные точки данных назначаются узлу и кластеру к ближайшему центру, будь то кластер 1 или кластер 2. Любая точка может быть членом только одного кластера. Линии сферы могут пересекаться друг с другом, но точки должны быть четко отнесены к одному кластеру. Если точка находится точно посередине обоих центров и, следовательно, имеет одинаковое расстояние до обеих сторон, она должна быть отнесена к одному кластеру. Кластеры могут быть несбалансированными. Это в основном концепция алгоритма дерева шаров. Процесс разделения точек данных на два кластера/сферы повторяется в каждом кластере до тех пор, пока не будет достигнута определенная глубина. Это приводит к вложенному кластеру, содержащему все больше и больше кругов.

Как видно на рисунке выше, дерево имеет глубину 2. Центроид 1 является началом алгоритма. Сфера (2D) накладывается вокруг всех точек данных (серый цвет). Из центра выбирается самая дальняя точка кластера, которая здесь имеет номер 3 или номер 9. Это новый центр кластера 1, здесь номер 3 для фиолетового кластера. Самая дальняя точка от точки номер три — это центр кластера 2. Это номер 9 для оранжевого кластера. Все точки данных, содержащиеся в фиолетовой сфере, затем учитываются для расчета нового центроида 2. То же самое делается для всех точек данных, лежащих в оранжевой сфере, в результате чего получается центроид 3. Затем самые удаленные точки снова становятся центрами их новый кластер. Точка данных № 3 — это самая удаленная точка от центроида 2 и центр нового кластера.

На другой стороне центроида 2 самое большое расстояние между ним и точкой данных номер 1. Это центр второго кластера. Затем этот шаг также выполняется для оранжевой стороны, в результате чего снова получаются два кластера. Однако оранжевая сторона несбалансирована.
Результирующее дерево можно увидеть ниже (M — это сфера центроида 1 и начальная сфера, охватывающая все точки данных). Оттуда кластеры делятся с глубиной 2:

Алгоритм дерева KD

Алгоритм дерева KD является одним из наиболее часто используемых алгоритмов ближайших соседей. Точки данных разделены в каждом узле на два набора. Как и предыдущий алгоритм, дерево KD также является алгоритмом бинарного дерева, всегда оканчивающимся максимум двумя узлами. Выбранные критерии разделения часто являются медианой. В правой части изображения ниже вы можете увидеть точное положение точек данных, а в левой части — их пространственное положение.

Алгоритм KD-Tree использует сначала медиану первой оси, а затем, во втором слое, медиану второй оси. Начнем с оси X.
Отсортированные по возрастанию значения x: 1,2,3,4,4,6,7,8,9,9. Следовательно, медиана равна 6.

Затем точки данных делятся на меньшие и большие, равные 6. Это приводит к (1,2) (2,3) (3,4) (4,5) (4,6 ) на левой стороне и (6,5) (7,9) (8,7) (9,6) (9,1) на кластере другой стороны. Рисование медианы 6 в системе координат показывает нам два визуализированных кластера.

Теперь мы будем использовать ось Y. У нас уже есть два кластера, поэтому нам нужно взглянуть на них отдельно. С левой стороны мы получили отсортированные значения y: 2,3,4,5,6. Тогда медиана равна 4. Это приводит к разделительной линии со значением 4, и система координат выглядит следующим образом:

Значения затем разделены на 4, и первый кластер содержит (2,3) (1,2). Второй кластер содержит точки (4,6) (3,4) (4,5).
По другую сторону x-медианы 4 в настоящее время находятся 5 точек (включая точку (5,6)). В отсортированном порядке значения y равны 6,7,8,9,9. Это приводит к медиане 8, а первый кластер содержит (9,1) и (6,5). Второй кластер содержит (8,7)(7,9)(9,6).
Получившуюся окончательную систему координат можно увидеть ниже. Точки данных были разделены на 4 кластера с глубиной 2 (X и Y).

Но как выглядит дерево? Посмотрим, как делится получившееся дерево.

Сравнение и сводка

Грубая сила может быть наиболее точным методом из-за учета всех точек данных. Следовательно, ни одна точка данных не назначается ложному кластеру. Для небольших наборов данных грубая сила оправдана, однако для увеличения объема данных лучшими альтернативами являются KD или Ball Tree из-за их скорости и эффективности.

KD-дерево и его варианты можно назвать «проективными деревьями», что означает, что они классифицируют точки на основе их проекций в некоторое пространство более низкой размерности. (Кумар, Чжан и Наяр, 2008 г.)

Для низкоразмерных данных алгоритм дерева KD может быть лучшим решением. Как видно выше, узлы дерева KD выровнены по осям и не могут принимать другую форму. Таким образом, распределение может быть неправильно отображено, что приведет к снижению производительности.

Для многомерного пространства алгоритм дерева шаров может быть лучшим решением. Его производительность зависит от количества обучающих данных, размерности и структуры данных. Наличие большого количества точек данных, которые являются шумом, также может привести к плохой производительности из-за отсутствия четкой структуры.

Спасибо за прочтение, надеюсь, вам понравилось!

Следите за новыми статьями Мариуса Хукера

Следите за новыми статьями Мариуса Хакера Зарегистрировавшись, вы создадите учетную запись Medium, если у вас еще нет…

medium.com

Ссылки

JKnighten/k-nearest-neighbours

K Ближайшие соседи (KNN) — это простой алгоритм машинного обучения, который можно использовать как для классификации, так и для…

github. com

Простое объяснение дерева шаров — Linux Uncle

20 января 2015 г. В этом блоге и нескольких следующих блогах я буду обсуждать реализацию алгоритма k-ближайшего соседа (k-NN)…

ashokharnal.wordpress.com

Сравнительный анализ поиска ближайших соседей в Python

Недавно я отправил запрос на вытягивание scikit-learn, содержащий совершенно новое дерево шаров и kd-дерево для быстрого ближайшего соседа…

jakevdp.github.io

Простое объяснение шарового дерева

В этом блоге и нескольких следующих блогах я буду обсуждать реализацию алгоритма k-ближайшего соседа (k-NN) с использованием библиотек Python. В этом блоге моя цель — объяснить простым языком, как ускорить классификацию записи данных путем создания структур данных в алгоритме K-ближайших соседей. Я объясню две структуры индексации K-d tree и ball-tree, обе из которых доступны в библиотеках Python.

В алгоритме k-ближайших соседей пример данных сначала отображается в n-мерном пространстве, где n — количество атрибутов данных. Каждая точка в «n»-мерном пространстве помечена своим значением класса. Чтобы обнаружить классификацию неклассифицированных данных, точка наносится на это n-мерное пространство и отмечаются метки классов ближайших k точек данных. Обычно k — нечетное число. Тот класс, который встречается максимальное количество раз среди k ближайших точек данных, принимается за класс новой точки данных. То есть решение принимается голосованием k соседних точек. Одним из больших преимуществ этого универсального алгоритма K-ближайших соседей для обнаружения классификации является то, что он поддается параллельным операциям.

В общей модели k-NN каждый раз, когда необходимо сделать прогноз для точки данных, сначала должно быть рассчитано расстояние этой точки данных от всех других точек, а затем для голосования могут быть обнаружены только ближайшие k-точки. Этот подход также известен как подход грубой силы. Когда объем данных огромен, и его размер также очень велик, скажем, в сотнях или тысячах, эти повторные вычисления расстояния могут быть очень утомительными и трудоемкими. Чтобы ускорить этот процесс и избежать измерения расстояний от всех точек в наборе данных, делается некоторая предварительная обработка обучающих данных. Эта пошаговая обработка помогает искать точки, которые могут находиться по соседству.

Формирование дерева K-d — ускорение K-NN
Один из способов — построить отсортированную иерархическую структуру данных, называемую деревом k-d или k-мерным деревом. k-мерное дерево — это бинарное дерево. Мы проиллюстрируем процесс его формирования ниже на рабочем примере для простоты понимания.

Рассмотрим трехмерный (обучающий) набор данных, показанный в таблице 0 слева внизу. Для удобства представления мы не показывали четвертый столбец, содержащий метки классов для каждой записи данных. У нас есть три атрибута «a», «b» и «c». Среди трех атрибут «b» имеет наибольшую дисперсию. Мы сортируем набор данных по этому признаку (таблица 1), а затем делим его на две части по медиане.

 Таблица 0 Таблица 1
  Несортированные данные Сортировка по столбцу b
  а   б   в   а   б   в 
22 38 21 6 2 9
4 8 6 4 8 6
2 14 3 2 14 3
8 20 12 8 20 12
10 26 18 10 26 18
12 32 15 12 32 15<---
18 56 33 22 38 21
16 44 27 16 44 27
20 50 24 20 50 24
14 62 30 18 56 33
6 2 9 14 62 30
 

Медиана находится в (12,32,15). Разделив Таблицу 1 на две части по медиане, мы получим две таблицы, Таблицу 2 и Таблицу 3, как показано ниже. Далее из оставшихся (двух) атрибутов выбираем то измерение, которое имеет наибольшую дисперсию. Это измерение «с». Опять же, мы сортируем две таблицы по этому измерению, а затем разбиваем их по соответствующим медианам.

 Разрыв  Таблица 1  по медиане (12,32,15)
        > <
     Таблица 2 Таблица 3
  а   б   в   а   б   в 
22 38 21 6 2 9
16 44 27 4 8 6
20 50 24 2 14 3
18 56 33 8 20 12
14 62 30 10 26 18
 

Таблицы, отсортированные по столбцу C, выглядят следующим образом.

 Сортировка таблицы 2 по столбцу c Сортировка таблицы 3 по столбцу c
     Таблица 3 Таблица 4
  а   б   в   а   б   в 
22 38 21 2 14 3
20 50 24 4 8 6
16 44 27<--- 6 2 9<---
14 62 30 8 20 12
18 56 33 10 26 18
 

Далее таблица 3 разделена по медиане (16,44,27), а таблица 4 разделена по медиане (6,2,9), как показано ниже.

 Разбить таблицу 3 по медиане (16,44,27)
         > <
14 62 30 22 38 21
18 56 33 20 50 24
             Разбить таблицу 4 по медиане (6,2,9)
        > <
8 20 12 2 14 3
10 26 18 4 8 6

 

Теперь у нас здесь четыре стола. Если мы решим завершить процесс разделения, то эти четыре таблицы станут листьями дерева. В противном случае, затем мы разделили бы столбец сортировки «a» (и затем разделили бы на «b», «c»…).

После создания этой структуры данных легко найти (приблизительную) окрестность любой точки. Например, чтобы найти окрестность точки (9,25,16), мы перемещаемся вниз по иерархии влево или вправо. Сначала в корневом узле мы сравниваем 25 со значением в корне (из столбца b), затем в следующем узле сравниваем 16 (из столбца c) и, наконец, 9. Данными на листе являются возможные (но не обязательно) ближайшие точки. Как правило, расстояния от точек в таблице по другую сторону этого узла также рассчитываются для обнаружения ближайших точек. Можно также переместиться на шаг вверх по дереву, чтобы обнаружить ближайшие точки. Между прочим, срединные точки (например, 12,32,15) также являются частью левого или правого поддерева.

Структура данных в виде дерева шаров
Еще одной структурой данных, позволяющей ускорить обнаружение точек соседства, является структура данных в виде дерева шаров. Структура данных шарового дерева очень эффективна, особенно в ситуациях, когда количество измерений очень велико. Шаровое дерево также является бинарным деревом с иерархической (бинарной) структурой. Для начала создаются два кластера (каждый из которых напоминает шар). Поскольку это многомерное пространство, каждый шар можно назвать гиперсферой. Любая точка в n-мерном пространстве будет принадлежать одному кластеру, но не обоим. Он будет принадлежать кластеру, от центроида которого расстояние меньше. Если расстояние этой точки от центроидов обоих шаров одинаково, то она может быть включена в любой из кластеров. Возможно, что обе (виртуальные) гиперсферы могут пересекаться, но точки будут принадлежать только одной из двух. Затем каждый из шаров снова подразделяется на два подкластера, каждый из которых снова напоминает шар; таким образом, это означает, что в этих подкластерах снова есть два центроида, и принадлежность точки к шару определяется на основе ее расстояния от центроида подкластера. Мы снова делим каждый из этих под-подшаров и так далее до определенной глубины.

Неклассифицированная (целевая) точка должна находиться внутри любого из вложенных шаров. Ожидается, что точки внутри этого вложенного шара будут ближайшими к целевой точке. Точки в других близлежащих шарах (или огибающих шарах) также могут быть ближе к ней (например, эта точка может находиться на границе одного из шаров). Тем не менее нет необходимости вычислять расстояние этой неклассифицированной точки от всех точек в n-мерном пространстве. Это ускоряет процесс классификации. Формирование шарового дерева изначально требует много времени и памяти, но как только вложенные гиперсферы созданы и помещены в память, обнаружение ближайших точек становится проще.