NastępnyNastępny poradnik
Ocena systemów rekomendujących: NDCG, współczynnik trafień i inne
Techniczne
PRZEWODNIK techniczny
Metryki rankingowe oceniają kolejność elementów, a nie tylko to, czy poszczególne etykiety są prawidłowe.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Precision@k, recall@k, MAP, MRR and normalized discounted cumulative gain emphasize different aspects, so metric choice should match the ranking task and its relevance judgments.
Ranking systems order candidates for a user or query. Evaluation should reflect where relevant results appear and how relevance is defined. Precision at k is the fraction of the top k results judged relevant. Recall at k is the fraction of all relevant candidates retrieved in the top k. Precision emphasizes the quality of the displayed set; recall emphasizes how much of the relevant set was found. Average precision summarizes precision at ranks where relevant items occur, and mean average precision (MAP) averages that value across queries. Mean reciprocal rank (MRR) uses the reciprocal of the rank of the first relevant result and averages across queries. MRR is useful when finding one good result quickly is the priority, but it largely ignores the quality of later ranks. Discounted cumulative gain (DCG) supports graded relevance. A gain function assigns larger value to more relevant items, while a logarithmic discount reduces credit for items lower in the list. Normalized DCG divides a ranking's DCG by the ideal DCG for that query, giving a score typically between zero and one when definitions align. This normalization makes values more comparable across queries with different relevance distributions, but aggregation choices still matter. Suppose a query has one highly relevant item and another mildly relevant item. Placing the highly relevant result first yields more DCG than placing it second. NDCG captures both graded relevance and rank position. It does not establish whether the relevance labels are unbiased or whether the candidate-generation process omitted useful items. Metrics can change with cutoff k, gain formula and label threshold. Report these choices and evaluate across the same query set. Offline metrics also do not fully capture user satisfaction, diversity, freshness, exposure bias or long-term outcomes. Use them alongside online experiments or human review when appropriate, while avoiding claims that a higher score alone proves a better user experience.
Lista wyników wyszukiwania zawiera pięć pozycji, z czego dwie są istotne. Precyzja@5 wynosi 2/5, natomiast przypomnienie@5 zależy od tego, ile odpowiednich elementów istnieje w pełnym zestawie kandydatów.
Użytkownik ma trzy odpowiednie pozycje, a system pobiera dwa z pięciu pierwszych. Przywołanie@5 wynosi 2/3, chociaż precyzja@5 wynosi 2/5; środki odpowiadają na różne pytania.
Aby zapewnić stopniowaną trafność, DCG nagradza bardziej trafne elementy, gdy pojawiają się u góry, stosując zysk i logarytmiczną zniżkę rangi. NDCG dzieli przez idealny DCG dla tego samego zapytania, aby znormalizować skalę.
Zespół rekomendacyjny raportuje MRR, gdy pierwszy istotny wynik ma największe znaczenie, oraz NDCG, gdy znaczenie ma wiele elementów i stopień ich przydatności na liście.
Raporty rankingowe można ulepszyć, wyświetlając najważniejsze dane, definicje trafności i rozkłady na zapytania, a nie jedną zbiorczą liczbę. Zespoły powinny wybrać MAP, MRR lub NDCG w oparciu o to, czy w zadaniu cenione są wszystkie istotne wyniki, pierwszy użyteczny wynik czy też oceniona jakość z całej listy. Powinni kontrolować oceny trafności i ekspozycję kandydatów, ponieważ wskaźniki nie mogą nagradzać elementów, które nigdy nie zostały pobrane do oceny. Kontrole zadowolenia ludzi i różnorodności mogą uzupełniać wyniki offline. W miarę ewolucji celów rankingu należy zachować spójne definicje historyczne, aby porównania trendów pozostały znaczące.
Darmowy newsletter
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Ranking metrics evaluate the order of items rather than only whether individual labels are correct. Precision@k, recall@k, MAP, MRR and normalized discounted cumulative gain emphasize different aspects, so metric choice should match the ranking task and its relevance judgments.
Precision@k dzieli odpowiednie wyniki w górnym k przez k, więc wynosi 2/5.
Przypomnienie dzieli odzyskane odpowiednie elementy przez całkowity odpowiedni zestaw: 2/3.
MRR uśrednia odwrotność pierwszego odpowiedniego wyniku.
NDCG porównuje zaobserwowaną kolejność z idealną kolejnością dla tego samego zapytania.
MRR opiera się na pierwszej odpowiedniej randze i jest przydatny, gdy liczy się wczesny użyteczny wynik.
Ucz się dalej
Wybrano więcej przewodników na ten temat
NastępnyNastępny poradnik
Ocena systemów rekomendujących: NDCG, współczynnik trafień i inne
Techniczne