Техническое РУКОВОДСТВО

NDCG и показатели рейтинга

Метрики ранжирования оценивают порядок элементов, а не только правильность отдельных ярлыков.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее NDCG и показателей ранжирования
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Precision@k, Recall@k, MAP, MRR и нормализованный дисконтированный совокупный выигрыш подчеркивают разные аспекты, поэтому выбор показателей должен соответствовать задаче ранжирования и ее суждениям о релевантности.

Глубокое погружение

Системы ранжирования упорядочивают кандидатов по пользователю или запросу. Оценка должна отражать, где появляются соответствующие результаты и как определяется актуальность. Точность в k — это доля лучших k результатов, которые считаются релевантными. Напомним, что k — это доля всех релевантных кандидатов, найденных в топе k. Точность подчеркивает качество представленного набора; отзыв подчеркивает, какая часть соответствующего набора была найдена. Средняя точность суммирует точность на рангах, где встречаются соответствующие элементы, а средняя средняя точность (MAP) усредняет это значение по всем запросам. Средний обратный рейтинг (MRR) использует обратную величину ранга первого релевантного результата и средние значения по запросам. MRR полезен, когда приоритетом является быстрый поиск одного хорошего результата, но он в значительной степени игнорирует качество более поздних рангов. Дисконтированный совокупный выигрыш (DCG) поддерживает дифференцированную релевантность. Функция усиления присваивает большую ценность более релевантным товарам, а логарифмическая скидка уменьшает ценность товаров, находящихся ниже в списке. Нормализованный DCG делит DCG рейтинга на идеальный DCG для этого запроса, что обычно дает оценку от нуля до единицы, когда определения совпадают. Эта нормализация делает значения более сопоставимыми по запросам с различным распределением релевантности, но выбор агрегирования по-прежнему имеет значение. Предположим, что в запросе есть один элемент с высокой релевантностью и другой элемент со средней релевантностью. Размещение наиболее релевантного результата на первом месте дает больше DCG, чем размещение его на втором месте. NDCG учитывает как оценочную релевантность, так и рейтинговую позицию. Он не устанавливает, являются ли метки релевантности объективными или в процессе генерации кандидатов пропущены полезные элементы. Метрики могут меняться в зависимости от порога k, формулы усиления и порога метки. Сообщите об этих вариантах и ​​оцените их по тому же набору запросов. Офлайн-метрики также не в полной мере отражают удовлетворенность пользователей, разнообразие, новизну, предвзятость воздействия или долгосрочные результаты. Используйте их вместе с онлайн-экспериментами или человеческими оценками, когда это необходимо, избегая при этом утверждений, что более высокий балл сам по себе свидетельствует о лучшем пользовательском опыте.

Реальная реализация

Список результатов поиска состоит из пяти элементов, два из которых являются релевантными. Точность@5 равна 2/5, а отзыв@5 зависит от того, сколько релевантных элементов существует в полном наборе кандидатов.

У пользователя есть три релевантных элемента, а система извлекает два из первой пятерки. Recall@5 равен 2/3, хотя точность@5 равна 2/5; меры отвечают на разные вопросы.

Для оценки релевантности DCG вознаграждает наиболее релевантные элементы больше, когда они появляются в верхней части, используя прирост и логарифмическую скидку на ранг. NDCG делится на идеальный DCG для того же запроса, чтобы нормализовать масштаб.

Группа рекомендаций сообщает MRR, когда первый релевантный результат имеет наибольшее значение, и NDCG, когда имеют значение несколько элементов и градация релевантности по всему списку.

Будущее NDCG и показателей ранжирования

Отчеты о рейтинге можно улучшить, отображая топ-метрики, определения релевантности и распределения по запросам, а не одно совокупное число. Командам следует выбирать MAP, MRR или NDCG в зависимости от того, ценятся ли в задании все соответствующие результаты, первый полезный результат или оцененное качество по всему списку. Им следует проверять релевантные суждения и воздействие кандидатов, поскольку метрики не могут вознаграждать элементы, которые никогда не были получены для оценки. Проверки удовлетворенности людей и разнообразия могут дополнять офлайн-оценки. По мере развития целей ранжирования сохраняйте согласованность исторических определений, чтобы сравнение тенденций оставалось значимым.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Пройдите викторину NDCG и рейтинговых показателей

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое NDCG и показатели рейтинга?

Метрики ранжирования оценивают порядок элементов, а не только правильность отдельных ярлыков. Precision@k, Recall@k, MAP, MRR и нормализованный дисконтированный совокупный выигрыш подчеркивают разные аспекты, поэтому выбор показателей должен соответствовать задаче ранжирования и ее суждениям о релевантности.

Два соответствующих пункта появляются в первой пятерке. Что такое точность@5?

Precision@k делит релевантные результаты в топе k на k, поэтому получается 2/5.

Двое из трех соответствующих кандидатов фигурируют в пятерке лучших. Что такое отзыв@5?

Функция Recall делит извлеченные релевантные элементы на общий релевантный набор: 2/3.

Какая метрика подчеркивает ранг первого релевантного результата?

MRR усредняет обратный ранг первого релевантного результата.

Как идеальная DCG способствует нормализованной DCG?

NDCG сравнивает наблюдаемый порядок с идеальным порядком для того же запроса.

Какая задача лучше всего соответствует MRR?

MRR определяется первым релевантным рангом и полезен, когда важен ранний полезный результат.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →