LegközelebbKövetkező útmutató
Ajánlórendszerek értékelése: NDCG, találati arány és egyebek
Műszaki
Műszaki ÚTMUTATÓ
A rangsorolási mutatók a tételek sorrendjét értékelik, nem csak azt, hogy az egyes címkék helyesek-e.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
A Precision@k, a recall@k, a MAP, az MRR és a normalizált diszkontált kumulatív nyereség (NDCG) különböző szempontokat hangsúlyoznak, ezért a metrika megválasztásának illeszkednie kell a rangsorolási feladathoz és annak relevancia-ítéleteihez.
Ranking systems order candidates for a user or query. Evaluation should reflect where relevant results appear and how relevance is defined. Precision at k is the fraction of the top k results judged relevant. Recall at k is the fraction of all relevant candidates retrieved in the top k. Precision emphasizes the quality of the displayed set; recall emphasizes how much of the relevant set was found. Average precision summarizes precision at ranks where relevant items occur, and mean average precision (MAP) averages that value across queries. Mean reciprocal rank (MRR) uses the reciprocal of the rank of the first relevant result and averages across queries. MRR is useful when finding one good result quickly is the priority, but it largely ignores the quality of later ranks. Discounted cumulative gain (DCG) supports graded relevance. A gain function assigns larger value to more relevant items, while a logarithmic discount reduces credit for items lower in the list. Normalized DCG divides a ranking's DCG by the ideal DCG for that query, giving a score typically between zero and one when definitions align. This normalization makes values more comparable across queries with different relevance distributions, but aggregation choices still matter. Suppose a query has one highly relevant item and another mildly relevant item. Placing the highly relevant result first yields more DCG than placing it second. NDCG captures both graded relevance and rank position. It does not establish whether the relevance labels are unbiased or whether the candidate-generation process omitted useful items. Metrics can change with cutoff k, gain formula and label threshold. Report these choices and evaluate across the same query set. Offline metrics also do not fully capture user satisfaction, diversity, freshness, exposure bias or long-term outcomes. Use them alongside online experiments or human review when appropriate, while avoiding claims that a higher score alone proves a better user experience.
Egy keresési találati lista öt elemet tartalmaz, amelyek közül kettő releváns. A Precision@5 értéke 2/5, míg a recall@5 attól függ, hány releváns elem létezik a teljes jelöltkészletben.
Egy felhasználónak három releváns eleme van, és a rendszer kettőt talál meg az első öt között. A recall@5 értéke 2/3, annak ellenére, hogy a precision@5 értéke 2/5; a mérőszámok különböző kérdésekre adnak választ.
Fokozatos relevancia esetén a DCG jobban jutalmazza a magasan releváns elemeket, ha azok a lista elején jelennek meg, egy nyereség- és egy logaritmikus rangsor-kedvezményt használva. Az NDCG az azonos lekérdezésre vonatkozó ideális DCG-vel osztja el az értéket a skála normalizálása érdekében.
Egy ajánlócsapat akkor jelenti az MRR-t, ha az első releváns találat a legfontosabb, és az NDCG-t, ha több elem és a lista egészén átívelő fokozatos relevancia számít.
A rangsorolási jelentések javíthatók a top-k metrikák, a relevancia-definíciók és a lekérdezésenkénti eloszlások megjelenítésével, ahelyett, hogy csak egyetlen összesített számot mutatnának. A csapatoknak a MAP, az MRR vagy az NDCG közül aszerint kell választaniuk, hogy a feladat az összes releváns találatot, az első hasznos találatot vagy a lista egészén átívelő fokozatos minőséget értékeli-e. Ellenőrizniük kell a relevancia-ítéleteket és a jelöltek megjelenítését, mivel a metrikák nem jutalmazhatják azokat az elemeket, amelyek sosem kerültek elő az értékeléshez. Az emberi elégedettségi és sokszínűségi ellenőrzések kiegészíthetik az offline pontszámokat. Ahogy a rangsorolási célok fejlődnek, őrizze meg a következetes történelmi definíciókat, hogy a trendek összehasonlítása értelmes maradjon.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A rangsorolási metrikák az elemek sorrendjét értékelik, nem csupán azt, hogy az egyes címkék helyesek-e. A Precision@k, a recall@k, a MAP, az MRR és a normalizált diszkontált kumulatív nyereség (NDCG) különböző szempontokat hangsúlyoznak, ezért a metrika megválasztásának illeszkednie kell a rangsorolási feladathoz és annak relevancia-ítéleteihez.
A Precision@k az első k elemben lévő releváns találatok számát osztja el k-val, tehát 2/5.
A recall a megtalált releváns elemeket osztja el a teljes releváns készlettel: 2/3.
Az MRR az első releváns találat ranghelyének reciprokát átlagolja.
Az NDCG összehasonlítja a megfigyelt sorrendet az ugyanarra a lekérdezésre vonatkozó ideális sorrenddel.
Az MRR-t az első releváns ranghely határozza meg, és akkor hasznos, ha egy korai hasznos találat számít.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Ajánlórendszerek értékelése: NDCG, találati arány és egyebek
Műszaki