DalšíDalší průvodce
Vyhodnocovací systémy doporučení: NDCG, míra úspěšnosti a další
Technický
Technický PRŮVODCE
Metriky řazení hodnotí pořadí položek spíše než jen to, zda jsou jednotlivé štítky správné.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Precision@k, recall@k, MAP, MRR a normalizovaný diskontovaný kumulativní zisk zdůrazňují různé aspekty, takže výběr metriky by měl odpovídat úloze řazení a jejím posouzením relevance.
Ranking systems order candidates for a user or query. Evaluation should reflect where relevant results appear and how relevance is defined. Precision at k is the fraction of the top k results judged relevant. Recall at k is the fraction of all relevant candidates retrieved in the top k. Precision emphasizes the quality of the displayed set; recall emphasizes how much of the relevant set was found. Average precision summarizes precision at ranks where relevant items occur, and mean average precision (MAP) averages that value across queries. Mean reciprocal rank (MRR) uses the reciprocal of the rank of the first relevant result and averages across queries. MRR is useful when finding one good result quickly is the priority, but it largely ignores the quality of later ranks. Discounted cumulative gain (DCG) supports graded relevance. A gain function assigns larger value to more relevant items, while a logarithmic discount reduces credit for items lower in the list. Normalized DCG divides a ranking's DCG by the ideal DCG for that query, giving a score typically between zero and one when definitions align. This normalization makes values more comparable across queries with different relevance distributions, but aggregation choices still matter. Suppose a query has one highly relevant item and another mildly relevant item. Placing the highly relevant result first yields more DCG than placing it second. NDCG captures both graded relevance and rank position. It does not establish whether the relevance labels are unbiased or whether the candidate-generation process omitted useful items. Metrics can change with cutoff k, gain formula and label threshold. Report these choices and evaluate across the same query set. Offline metrics also do not fully capture user satisfaction, diversity, freshness, exposure bias or long-term outcomes. Use them alongside online experiments or human review when appropriate, while avoiding claims that a higher score alone proves a better user experience.
Seznam výsledků vyhledávání obsahuje pět položek a dvě jsou relevantní. Precision@5 je 2/5, zatímco recall@5 závisí na tom, kolik relevantních položek je v celém kandidátním souboru.
Uživatel má tři relevantní položky a systém získá dvě z nich v prvních pěti. Recall@5 je 2/3, i když precision@5 je 2/5; tyto míry odpovídají na různé otázky.
Pro stupňovanou relevanci DCG odměňuje vysoce relevantní položky více, když se objeví blízko začátku, pomocí zisku a logaritmické slevy podle pořadí. NDCG dělí ideálním DCG pro stejný dotaz, aby normalizovalo měřítko.
Tým doporučení hlásí MRR, když je nejdůležitější první relevantní výsledek, a NDCG, když mají význam více položek a stupňovaná relevance v celém seznamu.
Ranking reports can improve by displaying top-k metrics, relevance definitions and per-query distributions rather than one aggregate number. Teams should choose MAP, MRR or NDCG based on whether the task values all relevant results, the first useful result or graded quality throughout the list. They should audit relevance judgments and candidate exposure, since metrics cannot reward items never retrieved for evaluation. Human satisfaction and diversity checks can complement offline scores. As ranking objectives evolve, preserve consistent historical definitions so trend comparisons remain meaningful.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Ranking metrics evaluate the order of items rather than only whether individual labels are correct. Precision@k, recall@k, MAP, MRR and normalized discounted cumulative gain emphasize different aspects, so metric choice should match the ranking task and its relevance judgments.
Precision@k divides relevant results in the top k by k, so it is 2/5.
Recall divides retrieved relevant items by the total relevant set: 2/3.
MRR averages the reciprocal rank of the first relevant result.
NDCG compares the observed order with an ideal ordering for the same query.
MRR je řízen první relevantní pozicí a je užitečný, když má význam brzký užitečný výsledek.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Vyhodnocovací systémy doporučení: NDCG, míra úspěšnosti a další
Technický