Викторина, связанная с руководством · Средний Уровень

NDCG и викторина по метрикам рейтинга

Выбирайте метрики ранжирования по задачам, рассчитывайте точность и отзыв при k, а также интерпретируйте градуированную релевантность и скидку на ранг в NDCG.

Связанные направляющие путиNdcg и показатели рейтинга
Вопрос 1 из 8

Два соответствующих пункта появляются в первой пятерке. Что такое точность@5?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Два соответствующих пункта появляются в первой пятерке. Что такое точность@5?
    • 2/5
    • 2 divided by all relevant candidates
    • 5/2
    • The rank of the first relevant item
  2. Двое из трех соответствующих кандидатов фигурируют в пятерке лучших. Что такое отзыв@5?
    • 2/5
    • 2/3
    • 3/2
    • 5/3
  3. Какая метрика подчеркивает ранг первого релевантного результата?
    • Precision@k
    • Recall@k
    • MRR
    • NDCG only at the last position
  4. What does the logarithmic discount in DCG do?
    • Normalizes by the number of queries
    • Increases credit as rank moves down the list
    • Removes relevance grades
    • Reduces credit for relevant items at lower ranks
  5. Как идеальная DCG способствует нормализованной DCG?
    • Convert graded labels into binary labels
    • Scale ranking quality relative to the best ordering for that query
    • Measure the fraction of candidates retrieved
    • Find the first relevant rank only
  6. Какая задача лучше всего соответствует MRR?
    • Measuring only class calibration
    • Retrieving every relevant candidate equally
    • Finding the first useful result as high as possible
    • Ranking all results by predicted probability but ignoring position
  7. What can NDCG represent that binary precision@k may not?
    • The first relevant result rank only
    • The exact probability a user is satisfied
    • The fraction of all relevant candidates found
    • Graded relevance combined with position discount
  8. Why report cutoff and relevance conventions with a ranking score?
    • They affect the metric definition and resulting value
    • They are required only for regression metrics
    • They never change NDCG
    • They reveal whether candidate items were causal