ДалееСледующее руководство
Классификация по нескольким меткам
Технический
Техническое РУКОВОДСТВО
Настройка порога классификации выбирает пороговое значение оценки, используемое для преобразования выходных данных модели в решение о классе.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это важно, поскольку различные пороговые значения меняют баланс между ложноположительными и ложноотрицательными результатами, поэтому рабочая точка должна отражать проверенные цели задачи и цену ошибок.
Большинство алгоритмов классификации, таких как логистическая регрессия, случайные леса и нейронные сети с сигмоидальным выходом, дают непрерывную оценку вероятности, а не прямую метку класса. Обычное преобразование этой оценки в решение путем проверки того, превышает ли она 0,5, является соглашением, а не математическим требованием, и оно оптимально для калиброванной апостериорной вероятности, когда ложноположительные и ложноотрицательные результаты имеют равные затраты, а правильные решения имеют нулевую стоимость; равное преобладание классов не требуется. Когда эти условия не выполняются, что является обычным явлением, другой порог дает лучшие реальные результаты, даже если базовая модель не изменилась. В выборе порогового значения используются несколько устоявшихся методов. Используя кривую точности и отзыва, практикующий специалист может выбрать порог, который соответствует требуемой минимальной точности или отзыву для приложения, например, обеспечивая, чтобы система мошенничества выявляла не менее 90% случаев мошенничества. Статистика J Юдена ROC-кривой определяет порог, который максимизирует чувствительность плюс специфичность минус один, что дает сбалансированное пороговое значение, когда оба типа ошибок имеют одинаковое значение. Когда затраты явно известны, непосредственно применяется формула порога минимизации затрат, основанная на обучении с учетом затрат. Распространенным заблуждением является то, что настройка порога меняет саму модель; это не так, он меняется только там, где линия решения проводится на одних и тех же базовых вероятностных выходных данных. Это означает, что одна и та же обученная модель может обслуживать очень разные рабочие точки в зависимости от контекста развертывания, а соответствующий порог может даже меняться с течением времени по мере изменения стоимости ошибок.
Модель больничной сортировки снижает порог для обозначения пациента как группы высокого риска с 0,5 до 0,2, допуская большее количество ложных тревог в обмен на выявление большего количества истинных чрезвычайных ситуаций, которые в противном случае были бы пропущены.
Система мошенничества с кредитными картами поднимает свой порог выше 0,5 в период большого объема покупок, чтобы избежать наводнения рецензентов ложными срабатываниями, временно допуская немного более высокий уровень пропущенного мошенничества.
Маркетинговая команда выбирает пороговое значение, используя кривые точности отзыва, а не точность, поскольку их целевой сегмент клиентов редок, а пороговое значение 0,5 почти не позволяет предсказать, что кто-то станет вероятным покупателем.
Классификатор двоичного спама использует J-статистику Юдена на своей ROC-кривой, чтобы найти порог, который лучше всего уравновешивает перехват спама и отсутствие блокировки законной почты, вместо того, чтобы принимать пороговое значение библиотеки по умолчанию.
Настройка порогов, скорее всего, останется стандартным шагом при внедрении классификаторов, а не нишевым методом, поскольку все больше команд признают, что ограничения по умолчанию редко соответствуют производственным потребностям. Растущее использование автоматизированного мониторинга может позволить адаптировать пороговые значения по мере изменения распределения классов или структуры затрат после развертывания, хотя это требует тщательной проверки, чтобы избежать нестабильных или манипулируемых границ решений. В большинстве современных систем это остается ручным шагом, основанным на суждениях, а не чем-то, чему модели учатся самостоятельно. Изменение развертывания может изменить распространенность, калибровку оценок, доступные возможности проверки или вред каждой ошибки, поэтому мониторинг должен инициировать новую проверку, а не автоматическое изменение порога. По возможности сохраните окончательный набор оценок нетронутым и задокументируйте выбранный порог с учетом предполагаемых условий эксплуатации.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Настройка порога классификации выбирает пороговое значение оценки, используемое для преобразования выходных данных модели в решение о классе. Это важно, поскольку различные пороговые значения меняют баланс между ложноположительными и ложноотрицательными результатами, поэтому рабочая точка должна отражать проверенные цели задачи и цену ошибок.
При калиброванных апостериорных вероятностях и нулевой стоимости правильных решений равные затраты для двух типов ошибок дают границу решения 0,5; Баланс классов не требуется.
Снижение порога позволяет модели помечать больше случаев как положительные, обменивая дополнительные ложные тревоги на меньшее количество пропущенных чрезвычайных ситуаций.
В руководстве J Юдена определяется как чувствительность плюс специфичность минус один, что дает сбалансированное пороговое значение для кривой ROC.
В руководстве прямо указано, что настройка порога не меняет саму модель, а только в том случае, если ограничение осуществляется по существующим выходным вероятностям.
В руководстве указано использование набора отложенных проверок, чтобы избежать переподбора порогового значения для данных обучения или окончательных испытаний.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Классификация по нескольким меткам
Технический