ДалееСледующее руководство
Тестирование полноты, точности и упущений при анализе документов
Технический
Техническое РУКОВОДСТВО
Средняя точность суммирует точность модели по мере увеличения полноты при достижении пороговых значений принятия решения.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Кривые точности отзыва полезны, когда положительные случаи редки, но средняя точность и трапециевидная область под этой кривой — это разные расчеты, которые следует четко назвать.
Точность спрашивает, сколько выбранных случаев являются положительными. Напомним, спрашивается, сколько из всех положительных случаев было выбрано. По мере снижения порога оценки модели в выбранный набор попадает больше случаев. Напомним, что при снижении порогового значения полнота не может уменьшаться, но точность может повышаться или падать в зависимости от вновь включенных случаев. Кривая точности отзыва отражает этот компромисс. Это особенно информативно для редкого положительного класса, поскольку напрямую показывает, сколько выбранных элементов являются ложными тревогами. Кривая рабочей характеристики приемника отвечает на другой вопрос, используя частоту ложноположительных результатов, знаменатель которой включает все фактические отрицательные значения. Ни одна из точек зрения не устраняет необходимости учитывать реальные затраты на принятие решений. Средняя точность суммирует соотношение точности и полноты путем взвешивания значений точности по соответствующему увеличению полноты. В простом рейтинге без связанных оценок он равен средней точности рангов, занимаемых положительными случаями. Предположим, что единственные два положительных результата появляются первый и третий. Точность в этих позициях составляет одну и две трети, поэтому средняя точность составляет около 0,833. Маркировка PR-AUC может быть неоднозначной. В некоторых отчетах имеется в виду трапециевидная интеграция точности и отзыва; другие используют его свободно для средней точности. Scikit-learn отличает Average_precision_score от auc, который применяет правило трапеций. Эти значения могут отличаться, поскольку различаются предположения интерполяции. Приведите фактический расчет. Точность зависит от преобладания положительных результатов в популяции, оценивающей результаты. Оценка по сбалансированной выборке может не соответствовать условиям развертывания, где положительные результаты редки. Сообщите о положительной доле и схеме оценки. Наконец, сводка по пороговым значениям не определяет рабочий порог. Проверьте точность, полноту и рабочую нагрузку в тот момент, когда модель будет фактически использоваться.
Очередь проверки содержит множество обычных элементов и несколько важных. Кривая точности отзыва показывает компромисс между поиском более релевантных элементов и просьбой рецензентам просмотреть более нерелевантные элементы.
В гипотетическом рейтинге без одинаковых оценок два положительных случая занимают первое и третье место. Точность в этих позициях составляет 1 и две трети, поэтому средняя точность составляет около 0,833.
Команда использует среднюю_точность_score scikit-learn для меток и оценок прогнозов. Он фиксирует, какой класс считается положительным, и позволяет избежать замены оценок трудными решениями перед оценкой.
Два набора оценочных данных содержат разную долю положительных случаев. Аналитик сообщает об этих пропорциях, прежде чем сравнивать результаты точного отзыва, поскольку распространенность меняет то, как следует интерпретировать точность.
Панели оценки могут сделать показатели ранжирования более понятными, показывая распространенность положительных результатов, точный расчет площади и практические рабочие точки рядом со сводным баллом. Группа проверки может больше всего заботиться о том, сколько полезных случаев появится в пределах фиксированной ежедневной производительности, в то время как другой команде может потребоваться минимальный отзыв. Сохранение прогнозов и меток позволяет вернуться к этим вопросам без изменения модели. По мере изменения численности населения командам следует переоценить компромисс на репрезентативных данных, а не предполагать, что более ранний результат средней точности гарантирует ту же рабочую нагрузку или полезность в будущем.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Средняя точность суммирует точность модели по мере увеличения полноты при достижении пороговых значений принятия решения. Кривые точности отзыва полезны, когда положительные случаи редки, но средняя точность и трапециевидная область под этой кривой — это разные расчеты, которые следует четко назвать.
Точность измеряет чистоту выбранного набора; отзыв измеряет долю всех обнаруженных положительных результатов.
Точность одна при первом положительном и две трети при втором. Их среднее значение составляет пять шестых, примерно 0,833.
Средняя точность взвешивает точность по приращению отзыва, тогда как трапециевидное интегрирование соединяет точки кривой, используя другую конструкцию площади.
Баллы позволяют оценивать через пороговые значения. Трудные решения сохраняют только одну рабочую точку и отбрасывают большую часть ранжирующей информации.
Точность зависит от преобладания класса, поэтому популяции и схемы выборки являются необходимым контекстом.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Тестирование полноты, точности и упущений при анализе документов
Технический