Техническое РУКОВОДСТВО

Локальный фактор выбросов

Локальный фактор выбросов (LOF) оценивает наблюдение путем сравнения его локальной плотности с плотностью ближайших соседей.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее локального фактора выбросов
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Он может обнаруживать необычные точки в разреженной или плотной области, но на его использование влияют количество соседей, масштабирование расстояний и различие между обнаружением выбросов и обнаружением новизны.

Глубокое погружение

LOF — это показатель аномалий, основанный на плотности. Для каждого наблюдения он находит окрестность k ближайших точек и оценивает локальную плотность достижимости, которая отражает, насколько плотно упакована точка относительно ее соседей. LOF сравнивает среднюю плотность локальной достижимости соседей с собственной плотностью точки. Оценка около единицы указывает на сопоставимую местную плотность; существенно более высокий балл указывает на то, что точка менее плотная, чем близлежащие наблюдения. Это относительное локальное сравнение, а не глобальная мера расстояния от центра. Эта локальность может выявить аномалии, которые не замечают глобальные методы. Точка может быть необычной в густонаселенной окрестности, но при этом находиться в регионе, где общий набор данных обширен. И наоборот, точка, далекая от основного облака, может принадлежать к отдельной плотной подгруппе и получать обычную локальную оценку. Следует ли считать эту подгруппу аномальной, зависит от задачи. Количество соседей управляет масштабом сравнения. Небольшие районы чувствительны к мелкой структуре и шуму; крупные могут сравниваться между отдельными группами. Метрика расстояния и единицы измерения важны, поскольку LOF использует ближайших соседей. Соответствующим образом масштабируйте числовые переменные и кодируйте категории, не придумывая вводящий в заблуждение порядок чисел. Выбирайте настройки на основе ожидаемых размеров групп и оценивайте поведение оценок, в идеале — с помощью рассмотренных случаев. Scikit-learn отличает обнаружение выбросов, когда LOF идентифицирует необычные наблюдения в подобранном наборе данных, от обнаружения новизны, когда модель подбирается на основе справочных данных и используется в новых точках. Для последнего требуется значение новизны = True, и документация предостерегает от использования методов оценки новизны обучающих данных в этом режиме. Оценки LOF не являются калиброванными вероятностями и могут использовать соглашения об обратных знаках в API. Проверьте, указывают ли более высокие или более низкие значения на большую патологию. Аномалия соседства — это свидетельство относительно выбранного эталонного набора и показателя, а не окончательное суждение о качестве данных или риске.

Реальная реализация

Точка находится в разреженном кармане рядом с плотной окрестностью. Его локальная плотность достижимости ниже, чем у его соседей, поэтому его коэффициент LOF увеличивается, даже если его абсолютное местоположение не далеко от всех данных в глобальном масштабе.

Гипотетическое наблюдение находится далеко от основного облака, но внутри отдельной плотной подгруппы. LOF может рассматривать его как локально обычный, поскольку у него есть соседи с одинаковой плотностью, что иллюстрирует разницу между глобальной редкостью и статусом локального выброса.

Команда сравнивает значения n_neighbours и масштабирует числовые объекты перед расчетом расстояний. Если соседей слишком мало, крошечные структуры могут доминировать; слишком большое количество может размыть местные группы.

Для обнаружения новизны аналитик подбирает LOF для справочных данных с новизной = True и позже набирает невидимые баллы. Они избегают применения методов оценки новизны к обучающей выборке в этом режиме, следуя документально подтвержденному отличию библиотеки.

Будущее локального фактора выбросов

LOF может поддерживать тщательную проверку, когда отчеты об аномалиях показывают выбранный масштаб соседей, предварительную обработку и направление локальной оценки. Команды должны сравнить необычные случаи с реальными группами коллег, чтобы решить, имеет ли значение локальное отклонение. По мере изменения распределения данных тщательно обновляйте эталонный набор и отслеживайте изменения оценок по сегментам. При использовании обнаружения новизны сохраняйте четкое разделение путей обучения и будущей оценки. Более эффективные интерфейсы могли бы объяснить, какие соседи внесли свой вклад в оценку, одновременно давая понять, что сравнение соседей не является причинно-следственной или калиброванной оценкой риска.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Local Outlier Factor quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое локальный фактор выбросов?

Локальный фактор выбросов (LOF) оценивает наблюдение путем сравнения его локальной плотности с плотностью ближайших соседей. Он может обнаруживать необычные точки в разреженной или плотной области, но на его использование влияют количество соседей, масштабирование расстояний и различие между обнаружением выбросов и обнаружением новизны.

О чем говорит показатель LOF, существенно превышающий единицу?

LOF сравнивает плотность соседей с плотностью точки; большее соотношение указывает на относительную разреженность.

Почему удаленная точка может получить обычный балл LOF?

LOF является локальным; точка в своей плотной окрестности может быть локально обычной, несмотря на глобальное разделение.

Что вообще меняет увеличение количества соседей?

k определяет размер окрестности и, следовательно, масштаб локальности сравнения плотности.

Почему масштабирование функций имеет значение для LOF?

Масштабные различия могут доминировать над метрикой расстояния и влиять на то, какие наблюдения являются соседями.

Чем обнаружение новизны отличается от обнаружения выбросов по подобранной выборке?

Режим новизны соответствует эталонным данным и оценивает невидимые наблюдения, в отличие от выявления выбросов в подобранной выборке.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →