ДалееСледующее руководство
Оценка среднего мнения
Аудио ИИ
Техническое РУКОВОДСТВО
Коэффициент силуэта сравнивает среднее расстояние каждого наблюдения до его собственного кластера с расстоянием до ближайшего альтернативного кластера.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Он обеспечивает внутреннюю диагностику кластеризации без достоверных меток, но его предположения и метрики могут способствовать компактным, разделенным группам и не могут установить, что кластеры полезны.
Кластеризация обычно не имеет целевых меток, поэтому внутренние метрики оценивают структуру, используя только данные и назначенные группы. Для наблюдения i пусть a(i) будет его средним расстоянием до других точек в его собственном кластере. Пусть b(i) — наименьшее среднее расстояние от i до точек в любом другом кластере. Коэффициент силуэта равен (b-a)/max(a,b) в диапазоне от -1 до 1, когда расстояния определены. Значение, близкое к единице, предполагает, что наблюдение гораздо ближе к своему кластеру, чем к другому. Значение, близкое к нулю, предполагает граничное положение, а отрицательное значение предполагает, что другой кластер может быть ближе. Общая оценка силуэта усредняет коэффициенты по наблюдениям. Высокое среднее значение может поддерживать компактные, разделенные кластеры на выбранном расстоянии, но это не доказывает, что группы значимы. Большой кластер может доминировать над средним значением, а несколько плохо назначенных точек могут быть скрыты. Проверьте значения по кластерам и по точкам, размеры кластеров и визуализации. Оценка также зависит от метрики расстояния и масштабирования объектов. Дэвис-Булдин сравнивает разброс внутри кластера с разделением между кластерами; ниже, как правило, лучше по его определению. Калински-Харабаш сравнивает дисперсию между кластерами и дисперсию внутри кластера; выше, как правило, лучше. Эти индексы имеют разные масштабы и предпочтения, поэтому не рассматривайте большее исходное число в одном показателе как сопоставимое с другим. Их предположения также могут способствовать определенным формам кластеров или балансам. Внутренние метрики не заменяют ни внешнюю проверку, когда метки становятся доступными, ни оценку последующей полезности. Оценка силуэта может способствовать разделению, которое является геометрически чистым, но функционально бессмысленным. И наоборот, полезные кластеры неправильной формы могут получить скромную оценку. Сравнивайте методы-кандидаты на согласованность данных и предварительную обработку, проверяйте стабильность при повторной выборке и изменении параметров, а также спрашивайте пользователей предметной области, поддерживают ли группы реальное решение. Если кластеризация используется для обслуживания людей, оцените охват и вред, а также геометрическое разделение.
Точка имеет среднее расстояние внутри кластера a=2 и ближайшее расстояние до другого кластера b=5. Его силуэт равен (5-2)/max(2,5)=0,6, что указывает на то, что он ближе к назначенному ему кластеру, чем к альтернативе.
Точка вблизи границы кластера имеет a=4 и b=3, что дает (3-4)/4=-0,25. Отрицательное значение указывает, что точка в среднем находится ближе к другому кластеру по выбранному показателю.
Аналитик сравнивает значения силуэтов в возможных кластерах k-средних по одним и тем же стандартизированным функциям, затем проверяет размер кластера и то, отвечают ли группы на бизнес-вопрос.
Команда также рассматривает индексы Дэвиса-Булдина и Калински-Харабаша, но избегает прямого сравнения их исходных значений, поскольку они используют разные формулы и предпочтительные направления.
Отчеты об оценке кластеров могут сделать внутренние оценки более полезными, показывая распределение по кластеру, размеры, предварительную обработку и метрику расстояния наряду со средним значением. Затем команды могут сравнить геометрические данные со стабильностью и последующими результатами вместо того, чтобы выбирать только наивысший балл. Если становятся известны известные ярлыки или человеческие суждения, используйте внешние проверки, избегая при этом циклической оценки. По мере изменения численности населения повторяйте проверки стабильности и полезности. Панели показателей должны объяснять предпочтительные направления и ограничения, чтобы пользователи не интерпретировали коэффициент как универсальную оценку качества кластеризации.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Коэффициент силуэта сравнивает среднее расстояние каждого наблюдения до его собственного кластера с расстоянием до ближайшего альтернативного кластера. Он обеспечивает внутреннюю диагностику кластеризации без достоверных меток, но его предположения и метрики могут способствовать компактным, разделенным группам и не могут установить, что кластеры полезны.
Числитель равен 3, а знаменатель равен 5, поэтому коэффициент равен 0,6.
Поскольку b меньше, чем a, другой кластер в среднем находится ближе, чем назначенный кластер.
Похожие значения a и b помещают наблюдение вблизи границы кластеризации под метрикой.
Дэвис-Булден обычно интерпретируется с более низкими значениями, указывающими на более благоприятное разделение по сравнению с рассеянием.
Индексы имеют разные математические определения, масштабы и направления оптимизации.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Оценка среднего мнения
Аудио ИИ