Műszaki ÚTMUTATÓ

Retrieval Metrics: Recall@K, MRR and nDCG

Recall@K measures how many known relevant items appear in the top K results, MRR emphasizes the rank of the first relevant item, and nDCG evaluates ranking quality using graded relevance with position discounts.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. The Future of Retrieval Metrics: Recall@K, MRR and nDCG
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Each metric reflects different judgments and use cases, and none directly measures whether a generated answer is correct.

Mély merülés

Retrieval evaluation starts with queries, a document collection, and relevance judgments. A metric summarizes how a ranked result list compares with those judgments. Recall@K asks what fraction of relevant items appear within the first K results. It is useful when finding all relevant evidence matters, but it ignores the ordering among those retrieved items. Mean reciprocal rank (MRR) scores the rank of the first relevant result: a relevant item at rank one contributes 1, at rank two contributes one-half, and so on; query scores are averaged. This fits tasks where users mainly need one good result near the top. It does not reward additional relevant results after the first. Normalized discounted cumulative gain (nDCG) uses relevance grades and discounts items lower in the ranking. It can distinguish highly relevant from partially relevant documents and rewards placing stronger matches earlier. The exact gain and discount conventions should be documented when comparing implementations. These formulas summarize judged rankings and do not measure answer generation or user satisfaction. These measures depend on a test collection and relevance labels. Incomplete judgments can make a relevant but unjudged result look wrong, and query selection affects conclusions. For retrieval-augmented generation, report retrieval metrics separately from answer-level grounding, correctness, and usefulness. Choose metrics that match the product goal, inspect examples, and evaluate on representative queries rather than selecting whichever score looks largest.

Valós megvalósítás

A legal search team uses Recall@20 when it needs to surface most known relevant passages for review.

A help center tracks MRR when users need one useful answer near the top.

A recommender uses graded relevance labels and nDCG to favor stronger matches earlier.

A RAG evaluation reports retrieval recall separately from whether the generated answer is supported.

The Future of Retrieval Metrics: Recall@K, MRR and nDCG

Retrieval systems will increasingly combine lexical, vector, hybrid, and reranking stages, making stage-specific evaluation important. Better relevance judgments and task-aligned graded labels can make nDCG more useful, while user studies can test whether rank gains improve outcomes. RAG evaluation will continue to pair retrieval metrics with answer-level checks. Future benchmarks should publish query sets, judgments, metric settings, and limitations to support meaningful comparisons. Teams should revisit judgments as collections and user needs change over time for all relevant users consistently.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Retrieval Metrics: Recall@K, MRR and nDCG quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Retrieval Metrics: Recall@K, MRR and nDCG?

Recall@K measures how many known relevant items appear in the top K results, MRR emphasizes the rank of the first relevant item, and nDCG evaluates ranking quality using graded relevance with position discounts. Each metric reflects different judgments and use cases, and none directly measures whether a generated answer is correct.

What does Recall@K measure?

Recall at a cutoff measures relevant-item coverage in the top K.

What does Recall@K fail to distinguish by itself?

Recall@K measures coverage at the cutoff, not ordering within those results.

Why can incomplete relevance judgments distort retrieval metrics?

Metrics depend on the judged collection and can penalize unjudged positives.

Does a high retrieval Recall@K prove that a RAG answer is correct?

Retrieval and answer generation are distinct evaluation stages.