Викторина, связанная с руководством · Средний Уровень
NDCG и викторина по метрикам рейтинга
Выбирайте метрики ранжирования по задачам, рассчитывайте точность и отзыв при k, а также интерпретируйте градуированную релевантность и скидку на ранг в NDCG.
Вопрос 1 из 8
Два соответствующих пункта появляются в первой пятерке. Что такое точность@5?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Два соответствующих пункта появляются в первой пятерке. Что такое точность@5?
- 2/5
- 2 divided by all relevant candidates
- 5/2
- The rank of the first relevant item
- Двое из трех соответствующих кандидатов фигурируют в пятерке лучших. Что такое отзыв@5?
- 2/5
- 2/3
- 3/2
- 5/3
- Какая метрика подчеркивает ранг первого релевантного результата?
- Precision@k
- Recall@k
- MRR
- NDCG only at the last position
- What does the logarithmic discount in DCG do?
- Normalizes by the number of queries
- Increases credit as rank moves down the list
- Removes relevance grades
- Reduces credit for relevant items at lower ranks
- Как идеальная DCG способствует нормализованной DCG?
- Convert graded labels into binary labels
- Scale ranking quality relative to the best ordering for that query
- Measure the fraction of candidates retrieved
- Find the first relevant rank only
- Какая задача лучше всего соответствует MRR?
- Measuring only class calibration
- Retrieving every relevant candidate equally
- Finding the first useful result as high as possible
- Ranking all results by predicted probability but ignoring position
- What can NDCG represent that binary precision@k may not?
- The first relevant result rank only
- The exact probability a user is satisfied
- The fraction of all relevant candidates found
- Graded relevance combined with position discount
- Why report cutoff and relevance conventions with a ranking score?
- They affect the metric definition and resulting value
- They are required only for regression metrics
- They never change NDCG
- They reveal whether candidate items were causal