引導式測驗 · 中等 等級

NDCG 和排名指標測驗

依任務選擇排名指標,計算 k 處的精確度和回想率,並解釋 NDCG 中的分級相關性和排名折扣。

相關引導路徑Ndcg 和排名指標
問題 1 的 8

前五名中有兩個相關項目。請問 precision@5 是多少?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 前五名中有兩個相關項目。請問 precision@5 是多少?
    • 2/5
    • 2 除以所有相關候選項目
    • 5/2
    • 第一個相關項目的排名
  2. 三個相關候選項目中有兩個出現在前五名。請問 recall@5 是多少?
    • 2/5
    • 2/3
    • 3/2
    • 5/3
  3. 哪種指標強調第一個相關結果的排名?
    • Precision@k
    • Recall@k
    • MRR
    • 僅在最後位置的 NDCG
  4. DCG 中的對數折扣(logarithmic discount)有什麼作用?
    • 根據查詢數量進行標準化
    • 隨著排名下降增加權重
    • 移除相關性等級
    • 降低排名較低之相關項目的權重
  5. 理想 DCG(ideal DCG)如何對標準化 DCG(normalized DCG)做出貢獻?
    • 將分級標籤轉換為二元標籤
    • 相對於該查詢的最佳排序來衡量排名品質
    • 測量檢索到的候選項目比例
    • 僅找出第一個相關的排名
  6. 哪項任務最符合 MRR?
    • 僅測量類別校準
    • 平等地檢索每一個相關候選項目
    • 盡可能高地找出第一個有用的結果
    • 根據預測機率對所有結果進行排名,但忽略位置
  7. NDCG 能表示什麼而二元 precision@k 可能無法表示的?
    • 僅第一個相關結果的排名
    • 使用者滿意的確切機率
    • 找到的所有相關候選項目的比例
    • 分級相關性與位置折扣的結合
  8. 為什麼報告排名分數時需要說明截止點和相關性慣例?
    • 它們會影響指標的定義和最終數值
    • 它們僅在迴歸指標中是必需的
    • 它們永遠不會改變 NDCG
    • 它們揭示了候選項目是否具有因果關係