概述
Precision@k、recall@k、MAP、MRR 和歸一化折扣累積增益強調不同的方面,因此度量選擇應與排序任務及其相關性判斷相符。
深入探討
排名系統對使用者或查詢的候選者進行排序。評估應反映相關結果出現的位置以及相關性的定義方式。 k 處的精確度是被判斷為相關的前 k 個結果的分數。 k 處的召回率是前 k 個中檢索到的所有相關候選者的分數。精確度強調顯示集的品質;召回率強調找到了多少相關的集合。平均精確度總結了相關項目出現的排名的精確度,平均精確度 (MAP) 是跨查詢的平均值。平均倒數排名 (MRR) 使用第一個相關結果的排名的倒數和跨查詢的平均值。當優先考慮快速找到一個好的結果時,MRR 很有用,但它在很大程度上忽略了後面排名的品質。折現累積增益 (DCG) 支援分級相關性。增益函數為更相關的項目分配更大的價值,而對數折扣則減少清單中較低項目的信用。標準化 DCG 將排名的 DCG 除以該查詢的理想 DCG,當定義對齊時,給出的分數通常在 0 到 1 之間。這種標準化使得具有不同相關性分佈的查詢之間的值更具可比性,但聚合選擇仍然很重要。假設查詢有一個高度相關的項目和另一個輕度相關的項目。將高度相關的結果放在第一位比將其放在第二位會產生更多的 DCG。 NDCG 捕捉分級相關性和排名位置。它無法確定相關性標籤是否無偏或候選生成過程是否遺漏了有用的項目。指標可以隨截止 k、增益公式和標籤閾值而變化。報告這些選擇並在同一查詢集中進行評估。線下指標也無法完全捕捉使用者滿意度、多樣性、新鮮度、曝光偏差或長期結果。在適當的時候將它們與線上實驗或人工審核一起使用,同時避免聲稱較高的分數本身就證明了更好的使用者體驗。
現實世界的實施
搜尋結果清單有五個項目,其中兩個是相關的。 Precision@5 是 2/5,而recall@5 取決於完整候選集中有多少相關項目。
使用者擁有三個相關項目,系統會檢索前五個中的兩個。即使 precision@5 為 2/5,Recall@5 仍為 2/3;這些措施回答了不同的問題。
對於分級相關性,當高度相關的項目出現在頂部附近時,DCG 使用增益和對數排名折扣對它們進行更多獎勵。 NDCG 除以相同查詢的理想 DCG 來標準化比例。
當第一個相關結果最重要時,推薦團隊會報告 MRR;當清單中的多個項目和分級相關性最重要時,推薦團隊會報告 NDCG。
NDCG 和排名指標的未來
排名報告可以透過顯示前 k 個指標、相關性定義和每個查詢的分佈而不是一個匯總數字來改進。團隊應根據任務是否重視所有相關結果、第一個有用結果或整個清單中的分級品質來選擇 MAP、MRR 或 NDCG。他們應該審核相關性判斷和候選人曝光度,因為指標不能獎勵從未檢索到進行評估的項目。人類滿意度和多樣性檢查可以補充離線分數。隨著排名目標的發展,保持一致的歷史定義,以便趨勢比較仍然有意義。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 NDCG 和排名指標?
排名指標評估項目的順序,而不僅僅是單一標籤是否正確。 Precision@k、recall@k、MAP、MRR 和歸一化折扣累積增益強調不同的方面,因此度量選擇應與排序任務及其相關性判斷相符。
前五名中有兩個相關項目。請問 precision@5 是多少?
Precision@k 將前 k 個相關結果除以 k,因此為 2/5。
三個相關候選項目中有兩個出現在前五名。請問 recall@5 是多少?
召回率將檢索到的相關項目除以總相關集:2/3。
哪種指標強調第一個相關結果的排名?
MRR 將第一個相關結果的倒數排名進行平均。
理想 DCG(ideal DCG)如何對標準化 DCG(normalized DCG)做出貢獻?
NDCG 將觀察到的順序與相同查詢的理想順序進行比較。
哪項任務最符合 MRR?
MRR 由第一個相關排名驅動,並且在早期有用結果很重要時非常有用。