ДалееСледующее руководство
Создание локальных приложений LLM с помощью Ollama
Технический
Техническое РУКОВОДСТВО
Локальный фактор выбросов (LOF) оценивает наблюдение путем сравнения его локальной плотности с плотностью ближайших соседей.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Он может обнаруживать необычные точки в разреженной или плотной области, но на его использование влияют количество соседей, масштабирование расстояний и различие между обнаружением выбросов и обнаружением новизны.
LOF — это показатель аномалий, основанный на плотности. Для каждого наблюдения он находит окрестность k ближайших точек и оценивает локальную плотность достижимости, которая отражает, насколько плотно упакована точка относительно ее соседей. LOF сравнивает среднюю плотность локальной достижимости соседей с собственной плотностью точки. Оценка около единицы указывает на сопоставимую местную плотность; существенно более высокий балл указывает на то, что точка менее плотная, чем близлежащие наблюдения. Это относительное локальное сравнение, а не глобальная мера расстояния от центра. Эта локальность может выявить аномалии, которые не замечают глобальные методы. Точка может быть необычной в густонаселенной окрестности, но при этом находиться в регионе, где общий набор данных обширен. И наоборот, точка, далекая от основного облака, может принадлежать к отдельной плотной подгруппе и получать обычную локальную оценку. Следует ли считать эту подгруппу аномальной, зависит от задачи. Количество соседей управляет масштабом сравнения. Небольшие районы чувствительны к мелкой структуре и шуму; крупные могут сравниваться между отдельными группами. Метрика расстояния и единицы измерения важны, поскольку LOF использует ближайших соседей. Соответствующим образом масштабируйте числовые переменные и кодируйте категории, не придумывая вводящий в заблуждение порядок чисел. Выбирайте настройки на основе ожидаемых размеров групп и оценивайте поведение оценок, в идеале — с помощью рассмотренных случаев. Scikit-learn отличает обнаружение выбросов, когда LOF идентифицирует необычные наблюдения в подобранном наборе данных, от обнаружения новизны, когда модель подбирается на основе справочных данных и используется в новых точках. Для последнего требуется значение новизны = True, и документация предостерегает от использования методов оценки новизны обучающих данных в этом режиме. Оценки LOF не являются калиброванными вероятностями и могут использовать соглашения об обратных знаках в API. Проверьте, указывают ли более высокие или более низкие значения на большую патологию. Аномалия соседства — это свидетельство относительно выбранного эталонного набора и показателя, а не окончательное суждение о качестве данных или риске.
Точка находится в разреженном кармане рядом с плотной окрестностью. Его локальная плотность достижимости ниже, чем у его соседей, поэтому его коэффициент LOF увеличивается, даже если его абсолютное местоположение не далеко от всех данных в глобальном масштабе.
Гипотетическое наблюдение находится далеко от основного облака, но внутри отдельной плотной подгруппы. LOF может рассматривать его как локально обычный, поскольку у него есть соседи с одинаковой плотностью, что иллюстрирует разницу между глобальной редкостью и статусом локального выброса.
Команда сравнивает значения n_neighbours и масштабирует числовые объекты перед расчетом расстояний. Если соседей слишком мало, крошечные структуры могут доминировать; слишком большое количество может размыть местные группы.
Для обнаружения новизны аналитик подбирает LOF для справочных данных с новизной = True и позже набирает невидимые баллы. Они избегают применения методов оценки новизны к обучающей выборке в этом режиме, следуя документально подтвержденному отличию библиотеки.
LOF может поддерживать тщательную проверку, когда отчеты об аномалиях показывают выбранный масштаб соседей, предварительную обработку и направление локальной оценки. Команды должны сравнить необычные случаи с реальными группами коллег, чтобы решить, имеет ли значение локальное отклонение. По мере изменения распределения данных тщательно обновляйте эталонный набор и отслеживайте изменения оценок по сегментам. При использовании обнаружения новизны сохраняйте четкое разделение путей обучения и будущей оценки. Более эффективные интерфейсы могли бы объяснить, какие соседи внесли свой вклад в оценку, одновременно давая понять, что сравнение соседей не является причинно-следственной или калиброванной оценкой риска.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Локальный фактор выбросов (LOF) оценивает наблюдение путем сравнения его локальной плотности с плотностью ближайших соседей. Он может обнаруживать необычные точки в разреженной или плотной области, но на его использование влияют количество соседей, масштабирование расстояний и различие между обнаружением выбросов и обнаружением новизны.
LOF сравнивает плотность соседей с плотностью точки; большее соотношение указывает на относительную разреженность.
LOF является локальным; точка в своей плотной окрестности может быть локально обычной, несмотря на глобальное разделение.
k определяет размер окрестности и, следовательно, масштаб локальности сравнения плотности.
Масштабные различия могут доминировать над метрикой расстояния и влиять на то, какие наблюдения являются соседями.
Режим новизны соответствует эталонным данным и оценивает невидимые наблюдения, в отличие от выявления выбросов в подобранной выборке.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Создание локальных приложений LLM с помощью Ollama
Технический