Локальный фактор выбросов

LOF — это показатель аномалий, основанный на плотности. Для каждого наблюдения он находит окрестность k ближайших точек и оценивает локальную плотность достижимости, которая отражает, насколько плотно упакована точка относительно ее соседей. LOF сравнивает среднюю плотность локальной достижимости соседей с собственной плотностью точки. Оценка около единицы указывает на сопоставимую местную плотность; существенно более высокий балл указывает на то, что точка менее плотная, чем близлежащие наблюдения. Это относительное локальное сравнение, а не глобальная мера расстояния от центра. Эта локальность может выявить аномалии, которые не замечают глобальные методы. Точка может быть необычной в густонаселенной окрестности, но при этом находиться в регионе, где общий набор данных обширен. И наоборот, точка, далекая от основного облака, может принадлежать к отдельной плотной подгруппе и получать обычную локальную оценку. Следует ли считать эту подгруппу аномальной, зависит от задачи. Количество соседей управляет масштабом сравнения. Небольшие районы чувствительны к мелкой структуре и шуму; крупные могут сравниваться между отдельными группами. Метрика расстояния и единицы измерения важны, поскольку LOF использует ближайших соседей. Соответствующим образом масштабируйте числовые переменные и кодируйте категории, не придумывая вводящий в заблуждение порядок чисел. Выбирайте настройки на основе ожидаемых размеров групп и оценивайте поведение оценок, в идеале — с помощью рассмотренных случаев. Scikit-learn отличает обнаружение выбросов, когда LOF идентифицирует необычные наблюдения в подобранном наборе данных, от обнаружения новизны, когда модель подбирается на основе справочных данных и используется в новых точках. Для последнего требуется значение новизны = True, и документация предостерегает от использования методов оценки новизны обучающих данных в этом режиме. Оценки LOF не являются калиброванными вероятностями и могут использовать соглашения об обратных знаках в API. Проверьте, указывают ли более высокие или более низкие значения на большую патологию. Аномалия соседства — это свидетельство относительно выбранного эталонного набора и показателя, а не окончательное суждение о качестве данных или риске.