ДалееСледующее руководство
Кластеризация K-средних
Основы
Техническое РУКОВОДСТВО
Сдвиг среднего — это метод кластеризации с поиском мод, который неоднократно перемещает центры-кандидаты в области с более высокой оценочной плотностью данных.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Он может определить количество кластеров на основе мод плотности, вместо того, чтобы заранее требовать k, но его полоса пропускания контролирует масштаб этих мод и сильно влияет на результат.
Сдвиг среднего рассматривает наблюдения как выборки базовой плотности и ищет ее моды или локальные пики. Для каждого начального местоположения он исследует точки в пределах полосы пропускания и сдвигает начальное значение к средневзвешенному значению этих соседей. Повторение обновления перемещает семя вверх по поверхности предполагаемой плотности. Семена, сходящиеся вблизи одной и той же моды, группируются в один кластер. Этот метод позволяет определить количество кластеров по модам, а не запрашивать фиксированное значение k. Пропускная способность является ключевым параметром масштаба. Узкая полоса пропускания сохраняет мелкие локальные неровности и может создавать множество небольших мод. Широкая полоса пропускания более сильно сглаживает плотность и может объединять близлежащие пики, потенциально скрывая значимые подгруппы. Таким образом, предполагаемое количество кластеров не является свободным от параметров, даже если k не указан. Масштабирование функций и расстояние ядра также влияют на то, какие точки вносят вклад в каждое обновление. В гипотетическом двумерном наборе данных с тремя четкими пиками плотности семена, размещенные в пространстве, могут двигаться к этим пикам и сходиться. Если полоса пропускания становится слишком большой, два соседних пика могут сливаться в один; если он слишком мал, один пик может разделиться на несколько. Инициализация или выбор начального числа влияют на вычислительные затраты и на то, какие области притяжения исследуются. Сдвиг среднего значения может быть дорогостоящим для больших наборов данных, поскольку многие начальные числа-кандидаты неоднократно запрашивают соседей. Средний сдвиг наиболее подходит, когда режимы плотности являются значимым определением групп. Он может бороться с различной плотностью кластеров, поведением на больших расстояниях и широкими плоскими областями без четких пиков. Он не обеспечивает калиброванную вероятность членства. Правила новой точки различаются в зависимости от реализации; scikit-learn присваивает новые точки ближайшему подобранному центру — это жесткое правило, а не калиброванная вероятность членства. Проверьте шкалу плотности и чувствительность, сравните с альтернативными методами и оцените, поддерживают ли режимы следующую задачу. Кластер — это режим с выбранным ядром и полосой пропускания, а не естественная категория автоматически.
Гипотетическое облако точек имеет несколько плотных пиков. Сдвиг среднего значения начинается с начальных значений и итеративно перемещается к локальному среднему значению соседних точек, пока движение не станет небольшим; сходящиеся семена группируются в моды.
Аналитик использует очень небольшую полосу пропускания и видит множество близлежащих мод. Увеличение полосы пропускания сглаживает плотность и может объединять пики, поэтому полоса пропускания выбирается с учетом масштаба значимой структуры.
Команда стандартизирует признаки перед использованием ядра на основе расстояний, поскольку признак, измеряемый тысячами, может доминировать в окрестностях по сравнению с объектом, измеряемым в долях.
Исследователь оценивает пропускную способность на основе подвыборки парных расстояний, чтобы сократить объем вычислений, а затем проверяет, остаются ли назначения кластеров стабильными при выборе близлежащей пропускной способности.
Результаты среднего сдвига легче оценить, когда команды показывают полосу пропускания, стратегию затравки и режимы плотности рядом с назначенными группами. Тестирование диапазона возможных полос пропускания может выявить, стабильно ли количество кластеров или создано одной произвольной шкалой сглаживания. Для больших данных оценка полосы пропускания с подвыборкой и начальное группирование могут сократить объем работы, но их следует проверять на предмет качества назначения. Если плотность населения сильно различается в разных группах, аналитикам следует сравнить методы, адаптирующие местные масштабы. Результат поиска режима приобретает практическую ценность, когда его пики соответствуют шаблонам, которые пользователи предметной области могут интерпретировать и действовать в соответствии с ними.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Сдвиг среднего — это метод кластеризации с поиском мод, который неоднократно перемещает центры-кандидаты в области с более высокой оценочной плотностью данных. Он может определить количество кластеров на основе мод плотности, вместо того, чтобы заранее требовать k, но его полоса пропускания контролирует масштаб этих мод и сильно влияет на результат.
Обновление перемещает начальное значение к локальному среднему значению, определяемому близлежащими точками, взвешенными по ядру.
Пропускная способность задает масштаб окрестности и сглаживание плотности.
Более широкий масштаб сглаживания позволяет смешать соседние пики и уменьшить количество мод.
Небольшая полоса пропускания сохраняет мелкомасштабные неровности, которые могут не представлять собой полезные группы.
Масштабы признаков влияют на расстояние и, следовательно, на то, какие наблюдения получают локальный вес ядра.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Кластеризация K-средних
Основы