ДалееСледующее руководство
Оценка рекомендательных систем: NDCG, процент попаданий и многое другое
Технический
Техническое РУКОВОДСТВО
Метрики ранжирования оценивают порядок элементов, а не только правильность отдельных ярлыков.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Precision@k, Recall@k, MAP, MRR и нормализованный дисконтированный совокупный выигрыш подчеркивают разные аспекты, поэтому выбор показателей должен соответствовать задаче ранжирования и ее суждениям о релевантности.
Системы ранжирования упорядочивают кандидатов по пользователю или запросу. Оценка должна отражать, где появляются соответствующие результаты и как определяется актуальность. Точность в k — это доля лучших k результатов, которые считаются релевантными. Напомним, что k — это доля всех релевантных кандидатов, найденных в топе k. Точность подчеркивает качество представленного набора; отзыв подчеркивает, какая часть соответствующего набора была найдена. Средняя точность суммирует точность на рангах, где встречаются соответствующие элементы, а средняя средняя точность (MAP) усредняет это значение по всем запросам. Средний обратный рейтинг (MRR) использует обратную величину ранга первого релевантного результата и средние значения по запросам. MRR полезен, когда приоритетом является быстрый поиск одного хорошего результата, но он в значительной степени игнорирует качество более поздних рангов. Дисконтированный совокупный выигрыш (DCG) поддерживает дифференцированную релевантность. Функция усиления присваивает большую ценность более релевантным товарам, а логарифмическая скидка уменьшает ценность товаров, находящихся ниже в списке. Нормализованный DCG делит DCG рейтинга на идеальный DCG для этого запроса, что обычно дает оценку от нуля до единицы, когда определения совпадают. Эта нормализация делает значения более сопоставимыми по запросам с различным распределением релевантности, но выбор агрегирования по-прежнему имеет значение. Предположим, что в запросе есть один элемент с высокой релевантностью и другой элемент со средней релевантностью. Размещение наиболее релевантного результата на первом месте дает больше DCG, чем размещение его на втором месте. NDCG учитывает как оценочную релевантность, так и рейтинговую позицию. Он не устанавливает, являются ли метки релевантности объективными или в процессе генерации кандидатов пропущены полезные элементы. Метрики могут меняться в зависимости от порога k, формулы усиления и порога метки. Сообщите об этих вариантах и оцените их по тому же набору запросов. Офлайн-метрики также не в полной мере отражают удовлетворенность пользователей, разнообразие, новизну, предвзятость воздействия или долгосрочные результаты. Используйте их вместе с онлайн-экспериментами или человеческими оценками, когда это необходимо, избегая при этом утверждений, что более высокий балл сам по себе свидетельствует о лучшем пользовательском опыте.
Список результатов поиска состоит из пяти элементов, два из которых являются релевантными. Точность@5 равна 2/5, а отзыв@5 зависит от того, сколько релевантных элементов существует в полном наборе кандидатов.
У пользователя есть три релевантных элемента, а система извлекает два из первой пятерки. Recall@5 равен 2/3, хотя точность@5 равна 2/5; меры отвечают на разные вопросы.
Для оценки релевантности DCG вознаграждает наиболее релевантные элементы больше, когда они появляются в верхней части, используя прирост и логарифмическую скидку на ранг. NDCG делится на идеальный DCG для того же запроса, чтобы нормализовать масштаб.
Группа рекомендаций сообщает MRR, когда первый релевантный результат имеет наибольшее значение, и NDCG, когда имеют значение несколько элементов и градация релевантности по всему списку.
Отчеты о рейтинге можно улучшить, отображая топ-метрики, определения релевантности и распределения по запросам, а не одно совокупное число. Командам следует выбирать MAP, MRR или NDCG в зависимости от того, ценятся ли в задании все соответствующие результаты, первый полезный результат или оцененное качество по всему списку. Им следует проверять релевантные суждения и воздействие кандидатов, поскольку метрики не могут вознаграждать элементы, которые никогда не были получены для оценки. Проверки удовлетворенности людей и разнообразия могут дополнять офлайн-оценки. По мере развития целей ранжирования сохраняйте согласованность исторических определений, чтобы сравнение тенденций оставалось значимым.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Метрики ранжирования оценивают порядок элементов, а не только правильность отдельных ярлыков. Precision@k, Recall@k, MAP, MRR и нормализованный дисконтированный совокупный выигрыш подчеркивают разные аспекты, поэтому выбор показателей должен соответствовать задаче ранжирования и ее суждениям о релевантности.
Precision@k делит релевантные результаты в топе k на k, поэтому получается 2/5.
Функция Recall делит извлеченные релевантные элементы на общий релевантный набор: 2/3.
MRR усредняет обратный ранг первого релевантного результата.
NDCG сравнивает наблюдаемый порядок с идеальным порядком для того же запроса.
MRR определяется первым релевантным рангом и полезен, когда важен ранний полезный результат.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Оценка рекомендательных систем: NDCG, процент попаданий и многое другое
Технический