ДалееСледующее руководство
Silhouette Score и оценка кластера
Технический
Техническое РУКОВОДСТВО
Оценка Брайера измеряет ошибку в вероятностном прогнозе путем сравнения прогнозируемой вероятности с фактическим результатом.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это помогает вам оценить, полезна ли уверенность системы ИИ, даже если две системы делают одинаковые прогнозы «да» или «нет».
Модель классификации может выводить как метку, так и вероятность. Система доставки может вызвать две посылки с опозданием, присвоив вероятности 0,6 и 0,9. Точность обрабатывает эти прогнозы одинаково после того, как порог преобразует их в метки. Оценка Брайера сохраняет разницу в достоверности. Для двоичного события закодируйте возникновение как 1, а непроисшествие — как 0. Вычтите результат из прогнозируемой вероятности, возведите разницу в квадрат и усредните по случаям. В обычно используемом двоичном формате результат варьируется от 0 до 1, причем меньшие значения указывают на меньшую вероятность ошибки. Всегда идентифицируйте прогнозируемое событие: вероятность опоздания нельзя сравнивать с ярлыком, означающим прибытие вовремя. Рассмотрим две гипотетические посылки с вероятностью позднего прибытия 0,8 и 0,3. Первое опоздало, второе пришло вовремя. Их потери составляют 0,04 и 0,09, что дает в среднем 0,065. Это арифметические примеры, а не результаты внедренного продукта или исследования. Оценка требует значимого сравнения. Низкий балл может быть легко достигнут, когда событие почти никогда не происходит. Сравните модель с простым базовым уровнем для тех же случаев оценки и сообщите частоту событий. Не утверждайте, что конкретная оценка является универсально хорошей для несвязанных наборов данных. Также проверьте калибровку: как часто событие происходит среди случаев с одинаковой вероятностью? Более низкий балл Брайера сам по себе не является доказательством лучшей калибровки, поскольку этот балл также способствует разделению случаев с разными рисками. Scikit-learn документирует инструменты оценки вероятности и калибровки. Вместе с соответствующим разделением оценок они помогают отличить полезную уверенность от убедительно выглядящих цифр.
В гипотетическом прогнозе доставки посылка имеет 70% прогнозируемую вероятность опоздания и действительно доставляется с опозданием. Его двоичная потеря Брайера равна квадрату 0,7 минус 1, что составляет 0,09.
Оба гипотетических прогноза предсказывают позднюю доставку с использованием порога принятия решения в 50%. Если он приходит вовремя, прогноз 60% несет убыток в размере 0,36, а прогноз 90% - убыток в размере 0,81.
Команда поддержки сравнивает свою модель эскалации заявок с базовым уровнем, который всегда прогнозирует скорость эскалации, измеряемую в обучающих данных. Он оценивает оба в одних и тех же более поздних билетах.
Аналитик использует brier_score_loss из scikit-learn для оценки вероятностей и калибровочный график для проверки того, какие доверительные диапазоны вводят в заблуждение. Эти проверки отвечают на связанные, но разные вопросы.
Поскольку все больше интерфейсов ИИ демонстрируют уверенность, командам потребуется оценка, которая проверит, что эти цифры означают на практике. Следующий полезный шаг — сохранить прогнозы до получения результатов и объединить их с более поздними результатами, используя стабильные идентификаторы. В отчетах должна быть указана оценка Брайера наряду с исходным уровнем, калибровочными проверками и количеством оцененных случаев. Командам также следует изучить соответствующие группы и периоды времени, поскольку общий средний показатель может скрывать ухудшение. Этот рабочий процесс зависит от достоверного сбора результатов; отображение только процента достоверности не означает, что он был протестирован.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Оценка Брайера измеряет ошибку в вероятностном прогнозе путем сравнения прогнозируемой вероятности с фактическим результатом. Это помогает вам оценить, полезна ли уверенность системы ИИ, даже если две системы делают одинаковые прогнозы «да» или «нет».
Вхождение кодируется как 1, поэтому разность в квадрате равна (0,7 минус 1) в квадрате, или 0,09.
Оценка усредняет отдельные квадраты ошибок: (0,04 плюс 0,09), разделенное на два, равно 0,065.
Положительный результат и прогнозируемая вероятность должны описывать одно и то же событие; в противном случае расчет измеряет несовпадающие количества.
Потери Брайера отражают нечто большее, чем просто калибровку. Улучшенное разрешение может снизить потери, даже если калибровка не улучшилась.
Базовый уровень с постоянной скоростью показывает, улучшается ли модель по сравнению с простым прогнозом при той же частоте событий и случаях оценки.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Silhouette Score и оценка кластера
Технический