Műszaki ÚTMUTATÓ

NDCG és rangsorolási mérőszámok

A rangsorolási mutatók a tételek sorrendjét értékelik, nem csak azt, hogy az egyes címkék helyesek-e.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az NDCG és a rangsorolási metrikák jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A Precision@k, a recall@k, a MAP, az MRR és a normalizált diszkontált kumulatív nyereség (NDCG) különböző szempontokat hangsúlyoznak, ezért a metrika megválasztásának illeszkednie kell a rangsorolási feladathoz és annak relevancia-ítéleteihez.

Mély merülés

Ranking systems order candidates for a user or query. Evaluation should reflect where relevant results appear and how relevance is defined. Precision at k is the fraction of the top k results judged relevant. Recall at k is the fraction of all relevant candidates retrieved in the top k. Precision emphasizes the quality of the displayed set; recall emphasizes how much of the relevant set was found. Average precision summarizes precision at ranks where relevant items occur, and mean average precision (MAP) averages that value across queries. Mean reciprocal rank (MRR) uses the reciprocal of the rank of the first relevant result and averages across queries. MRR is useful when finding one good result quickly is the priority, but it largely ignores the quality of later ranks. Discounted cumulative gain (DCG) supports graded relevance. A gain function assigns larger value to more relevant items, while a logarithmic discount reduces credit for items lower in the list. Normalized DCG divides a ranking's DCG by the ideal DCG for that query, giving a score typically between zero and one when definitions align. This normalization makes values more comparable across queries with different relevance distributions, but aggregation choices still matter. Suppose a query has one highly relevant item and another mildly relevant item. Placing the highly relevant result first yields more DCG than placing it second. NDCG captures both graded relevance and rank position. It does not establish whether the relevance labels are unbiased or whether the candidate-generation process omitted useful items. Metrics can change with cutoff k, gain formula and label threshold. Report these choices and evaluate across the same query set. Offline metrics also do not fully capture user satisfaction, diversity, freshness, exposure bias or long-term outcomes. Use them alongside online experiments or human review when appropriate, while avoiding claims that a higher score alone proves a better user experience.

Valós megvalósítás

Egy keresési találati lista öt elemet tartalmaz, amelyek közül kettő releváns. A Precision@5 értéke 2/5, míg a recall@5 attól függ, hány releváns elem létezik a teljes jelöltkészletben.

Egy felhasználónak három releváns eleme van, és a rendszer kettőt talál meg az első öt között. A recall@5 értéke 2/3, annak ellenére, hogy a precision@5 értéke 2/5; a mérőszámok különböző kérdésekre adnak választ.

Fokozatos relevancia esetén a DCG jobban jutalmazza a magasan releváns elemeket, ha azok a lista elején jelennek meg, egy nyereség- és egy logaritmikus rangsor-kedvezményt használva. Az NDCG az azonos lekérdezésre vonatkozó ideális DCG-vel osztja el az értéket a skála normalizálása érdekében.

Egy ajánlócsapat akkor jelenti az MRR-t, ha az első releváns találat a legfontosabb, és az NDCG-t, ha több elem és a lista egészén átívelő fokozatos relevancia számít.

Az NDCG és a rangsorolási metrikák jövője

A rangsorolási jelentések javíthatók a top-k metrikák, a relevancia-definíciók és a lekérdezésenkénti eloszlások megjelenítésével, ahelyett, hogy csak egyetlen összesített számot mutatnának. A csapatoknak a MAP, az MRR vagy az NDCG közül aszerint kell választaniuk, hogy a feladat az összes releváns találatot, az első hasznos találatot vagy a lista egészén átívelő fokozatos minőséget értékeli-e. Ellenőrizniük kell a relevancia-ítéleteket és a jelöltek megjelenítését, mivel a metrikák nem jutalmazhatják azokat az elemeket, amelyek sosem kerültek elő az értékeléshez. Az emberi elégedettségi és sokszínűségi ellenőrzések kiegészíthetik az offline pontszámokat. Ahogy a rangsorolási célok fejlődnek, őrizze meg a következetes történelmi definíciókat, hogy a trendek összehasonlítása értelmes maradjon.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Tegye meg az NDCG és rangsorolási metrikák kvízt

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az NDCG és a rangsorolási metrikák?

A rangsorolási metrikák az elemek sorrendjét értékelik, nem csupán azt, hogy az egyes címkék helyesek-e. A Precision@k, a recall@k, a MAP, az MRR és a normalizált diszkontált kumulatív nyereség (NDCG) különböző szempontokat hangsúlyoznak, ezért a metrika megválasztásának illeszkednie kell a rangsorolási feladathoz és annak relevancia-ítéleteihez.

Két releváns elem jelenik meg az első öt között. Mi a precision@5?

A Precision@k az első k elemben lévő releváns találatok számát osztja el k-val, tehát 2/5.

Három releváns jelölt közül kettő jelenik meg az első öt között. Mi a recall@5?

A recall a megtalált releváns elemeket osztja el a teljes releváns készlettel: 2/3.

Melyik metrika hangsúlyozza az első releváns találat ranghelyét?

Az MRR az első releváns találat ranghelyének reciprokát átlagolja.

Hogyan járul hozzá az ideális DCG a normalizált DCG-hez?

Az NDCG összehasonlítja a megfigyelt sorrendet az ugyanarra a lekérdezésre vonatkozó ideális sorrenddel.

Melyik feladathoz illik legjobban az MRR?

Az MRR-t az első releváns ranghely határozza meg, és akkor hasznos, ha egy korai hasznos találat számít.