рддрдХрдиреАрдХреА рдЧрд╛рдЗрдб

рд╕рд┐рдлрд╛рд░рд┐рд╢ рдкреНрд░рдгрд╛рд▓реА рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди: NDCG, рд╣рд┐рдЯ рд░реЗрдЯ рдФрд░ рдЕрдзрд┐рдХ

Recommender-system evaluation uses metrics that capture different properties of ranked lists, including Precision@K, Recall@K, Hit Rate@K, and NDCG@K.

рдЗрд╕ рдЧрд╛рдЗрдб рдХреЛ рд╕реБрдиреЗрдВрдПрдЖрдИ-рдиреИрд░реЗрдЯреЗрдб ┬╖ ~3 min

рдЗрд╕ рдкреГрд╖реНрда рдкрд░3 рдорд┐рдирдЯ рд▓рд╛рд▓
  1. рд╕рд┐рдВрд╣рд╛рд╡рд▓реЛрдХрди
  2. рдЧрд╣рд░рд╛ рдЧреЛрддрд╛
  3. рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд╡рд┐рд╢реНрд╡ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди
  4. The Future of Evaluating Recommender Systems: NDCG, Hit Rate and More
  5. рдЗрд╕реЗ рд╡реНрдпрд╡рд╣рд╛рд░ рдореЗрдВ рд▓рд╛рдирд╛
  6. рдЕрдиреНрд╡реЗрд╖рдг рдХрд░рддреЗ рд░рд╣реЗрдВ
  7. рдЕрдХреНрд╕рд░ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдкреНрд░рд╢реНрдиреЛрдВ

рд╕рд┐рдВрд╣рд╛рд╡рд▓реЛрдХрди

These metrics depend on how relevance is labeled, what cutoff K is used, and how users or queries are averaged. Offline ranking quality is useful for comparison but does not guarantee improved product or business outcomes; online experiments and guardrails are needed for deployment decisions.

рдЧрд╣рд░рд╛ рдЧреЛрддрд╛

Ranking metrics are summaries of a particular evaluation setup, not universal descriptions of recommendation quality. Precision@K is the fraction of the top K recommendations that are relevant under the chosen labels. Recall@K is the fraction of relevant items in the evaluation set that appear in the top K. Hit Rate@K typically records whether a userтАЩs top-K list contains at least one relevant item and averages that indicator across users; implementations differ, so state the convention. A hit does not reveal how many relevant items were retrieved or whether they ranked first. Discounted Cumulative Gain (DCG) rewards relevant results while discounting lower-ranked positions. Normalized DCG (NDCG) divides DCG by the ideal DCG for the same relevance judgments, making comparisons easier across queries with different ideal gains. Implementations can differ in gain and discount formulas, treatment of ties, and cutoff. For example, scikit-learn describes NDCG as summing true scores in the predicted ranking after logarithmic discount and dividing by the best possible score. A metric is only meaningful alongside a clear definition of ground truth: clicks, purchases, ratings, and survey judgments measure different behaviors and carry biases. Offline evaluation on historical logs is fast and reproducible, but it cannot alone predict live impact. Exposure and selection effects shape observed interactions, and optimizing one metric can reduce diversity, catalog coverage, satisfaction, or a business outcome. GoogleтАЩs ML project guidance explicitly cautions that strong model metrics do not guarantee business success and recommends tracking focused business metrics. Teams should report metric conventions, baselines, segments, uncertainty, and guardrails, then validate consequential changes with a suitable online experiment where ethical and practical. There is no single best recommender metric for every objective.

рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд╡рд┐рд╢реНрд╡ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди

A team compares model top-10 lists using Precision@10, defining the numerator as relevant items among the first ten and the denominator as ten.

A catalog team uses Recall@K to track what share of a userтАЩs labeled relevant items appears in the top K, where the candidate set and relevance labels are stated.

A Hit Rate@K report counts a user as a hit if at least one held-out relevant item appears in the top K, then averages that binary result across users.

A researcher uses NDCG@K when the order and graded relevance of early results matter, then checks whether the offline change improves user outcomes in an online test.

The Future of Evaluating Recommender Systems: NDCG, Hit Rate and More

As recommenders combine more content types and objectives, teams will need metric suites that reflect relevance, diversity, coverage, user control, and business value. Transparent conventions make comparisons reproducible, while online tests reveal outcomes that historical labels cannot. The choice of metrics should follow the productтАЩs user need and risk profile; changing a scoring formula does not remove the need to validate real-world effects. Teams should revisit labels and cutoffs when user behavior, catalog composition, or interface design changes. A compact, documented metric suite makes tradeoffs visible and helps prevent one score from silently becoming the product objective.

рдЗрд╕реЗ рд╡реНрдпрд╡рд╣рд╛рд░ рдореЗрдВ рд▓рд╛рдирд╛

рдпрд╣ рдХреНрдпреЛрдВ рдорд╛рдпрдиреЗ рд░рдЦрддрд╛ рд╣реИ?

  • рд▓рд╛рдЧрдд рдФрд░ рдмрдЬрдЯ. рд╡рд╛рд╕реНрддреБрдХрд▓рд╛ рд╕рдВрдмрдВрдзреА рдирд┐рд░реНрдгрдп рд╡рд░реНрд╖реЛрдВ рддрдХ рдкреНрд░рджрд░реНрд╢рди рдФрд░ рдкрд░рд┐рдЪрд╛рд▓рди рд▓рд╛рдЧрдд рдХреЛ рд╕рдВрдЪрд╛рд▓рд┐рдд рдХрд░рддреЗ рд╣реИрдВред
  • рд╕реНрдкрд╖реНрдЯ рдирд┐рд░реНрдгрдп. рддрдХрдиреАрдХреА рд╢рд┐рдХреНрд╖рд╛ рдЯреАрдореЛрдВ рдХреЛ рд╕рд╣реА рд╕реНрдЯреИрдХ рдЪреБрдирдиреЗ рдореЗрдВ рдорджрдж рдХрд░рддреА рд╣реИ, рди рдХрд┐ рдХреЗрд╡рд▓ рдирд╡реАрдирддрдо рд╕реНрдЯреИрдХ рдЪреБрдирдиреЗ рдореЗрдВред
  • рдЧреБрдгрд╡рддреНрддрд╛ рдирд┐рдпрдВрддреНрд░рдг. рдмреЗрд╣рддрд░ рдЗрдВрдЬреАрдирд┐рдпрд░рд┐рдВрдЧ рд╡рд┐рдХрд▓реНрдк рдЙрддреНрдкрд╛рджрди рдореЗрдВ рд╡рд┐рд╢реНрд╡рд╕рдиреАрдпрддрд╛ рдХреА рдШрдЯрдирд╛рдУрдВ рдХреЛ рдХрдо рдХрд░рддреЗ рд╣реИрдВред

рдХрд╛ рдзреНрдпрд╛рди рд░рдЦреЗрдВ

  • рдПрдХ рдмреЗрдВрдЪрдорд╛рд░реНрдХ рдХреЛ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд░рдиреЗ рд╕реЗ рд╡реНрдпрд╛рдкрдХ рд╕рд┐рд╕реНрдЯрдо рдХрдордЬреЛрд░рд┐рдпреЛрдВ рдХреЛ рдЫреБрдкрд╛рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред
  • рдмреБрдирд┐рдпрд╛рджреА рдврд╛рдВрдЪреЗ рдФрд░ рд░рдЦрд░рдЦрд╛рд╡ рдХреА рд▓рд╛рдЧрдд рдХреЛ рдЕрдХреНрд╕рд░ рдХрдо рдХрд░рдХреЗ рдЖрдВрдХрд╛ рдЬрд╛рддрд╛ рд╣реИред
  • рдЬреИрд╕реЗ-рдЬреИрд╕реЗ рд╕рд┐рд╕реНрдЯрдо рдЕрдзрд┐рдХ рдЬрдЯрд┐рд▓ рд╣реЛрддреЗ рдЬрд╛рдПрдВрдЧреЗ рд╕реБрд░рдХреНрд╖рд╛ рдФрд░ рдЕрд╡рд▓реЛрдХрди рд╕рдВрдмрдВрдзреА рдЕрдВрддрд░рд╛рд▓ рдмрдврд╝ рд╕рдХрддреЗ рд╣реИрдВред

рдЕрдЧрд▓реЗ рдЪрд░рдг

  1. рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рд╕реЗ рдкрд╣рд▓реЗ рд╡рд┐рд▓рдВрдмрддрд╛, рдЧреБрдгрд╡рддреНрддрд╛ рдФрд░ рд▓рд╛рдЧрдд рд▓рдХреНрд╖реНрдп рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░реЗрдВред
  2. рдпрдерд╛рд░реНрдерд╡рд╛рджреА рд▓реЛрдб рдФрд░ рдбреЗрдЯрд╛ рд╕реНрдерд┐рддрд┐рдпреЛрдВ рдХреЗ рддрд╣рдд рдмреЗрдВрдЪрдорд╛рд░реНрдХред
  3. рддреНрд░реБрдЯрд┐рдпреЛрдВ, рдмрд╣рд╛рд╡ рдФрд░ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдкреНрд░рднрд╛рд╡ рдХреЗ рд▓рд┐рдП рдЙрдкрдХрд░рдг рдирд┐рдЧрд░рд╛рдиреАред
  4. рд╕реНрдХреЗрд▓рд┐рдВрдЧ рд╕реЗ рдкрд╣рд▓реЗ рд░реЛрд▓рдмреИрдХ рдФрд░ рдШрдЯрдирд╛ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ рдкрде рддреИрдпрд╛рд░ рдХрд░реЗрдВред

рдЕрдиреНрд╡реЗрд╖рдг рдХрд░рддреЗ рд░рд╣реЗрдВ

рдореБрдлрд╝реНрдд рдиреНрдпреВрдЬрд╝рд▓реЗрдЯрд░

рджреИрдирд┐рдХ рдПрдЖрдИ рдмреНрд░реАрдлрд┐рдВрдЧ рдкреНрд░рд╛рдкреНрдд рдХрд░реЗрдВ

рд╣рд░ рдХрд╛рд░реНрдпрджрд┐рд╡рд╕ рдХреА рд╕реБрдмрд╣ рддреАрди рд╕рддреНрдпрд╛рдкрд┐рдд рдПрдЖрдИ рдХрд╣рд╛рдирд┐рдпрд╛рдБ, рд╕рд╛рджреЗ рдЕрдВрдЧреНрд░реЗрдЬреА рдореЗрдВ рд▓рд┐рдЦреА рдЧрдИрдВред рд╣рдореЗрд╢рд╛ рдХреЗ рд▓рд┐рдП рдореБрдлрд╝реНрдд, рдХреЛрдИ рд╡рд┐рдЬреНрдЮрд╛рдкрди рдирд╣реАрдВред

рдкреНрд░рддреНрдпреЗрдХ рд╕рдкреНрддрд╛рд╣ рдХреЗ рджрд┐рди рдПрдХ рдИрдореЗрд▓. рдПрдХ рдХреНрд▓рд┐рдХ рдореЗрдВ рд╕рджрд╕реНрдпрддрд╛ рд╕рдорд╛рдкреНрдд рдХрд░реЗрдВ. рд╣рдо рдЖрдкрдХрд╛ рдкрддрд╛ рдХрднреА рдирд╣реАрдВ рдмреЗрдЪрддреЗ рдпрд╛ рд╕рд╛рдЭрд╛ рдирд╣реАрдВ рдХрд░рддреЗред

рд╕реНрд╡рдпрдВ рдХреА рдЬрд╛рдВрдЪ рдХрд░реЛ

Take the Evaluating Recommender Systems: NDCG, Hit Rate and More quiz

рдкреНрд░рддреНрдпреЗрдХ рдЙрддреНрддрд░ рдкрд░ рддреНрд╡рд░рд┐рдд рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛, рдФрд░ рдкрд╛рдареНрдпрдХреНрд░рдо рдкрд╛рд╕ рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж рдПрдХ рд╕рддреНрдпрд╛рдкрди рдпреЛрдЧреНрдп рдЖрдИрдбреА рдХреЗ рд╕рд╛рде рдПрдХ рд╕рд╛рдЭрд╛ рдХрд░рдиреЗ рдпреЛрдЧреНрдп рдкреНрд░рдорд╛рдгрдкрддреНрд░ред

рдкреНрд░рд╢реНрдиреЛрддреНрддрд░реА рдкреНрд░рд╛рд░рдВрдн рдХрд░реЗрдВ

рдирд┐рдГрд╢реБрд▓реНрдХ рдПрдЖрдИ рд╢рд┐рдХреНрд╖рд╛ рдХрд╛ рд╕рдорд░реНрдерди рдХрд░реЗрдВред AI Understanding рдПрдХ 501(c)(3) рдЧреИрд░-рд▓рд╛рднрдХрд╛рд░реА рд╕рдВрд╕реНрдерд╛ рд╣реИ - рдХреЛрдИ рд╡рд┐рдЬреНрдЮрд╛рдкрди рдирд╣реАрдВ, рдХреЛрдИ рдкреЗрд╡реЙрд▓ рдирд╣реАрдВред рджрд╛рди рдХрд░реЗрдВ

рдЕрдХреНрд╕рд░ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдкреНрд░рд╢реНрдиреЛрдВ

What is Evaluating Recommender Systems: NDCG, Hit Rate and More?

Recommender-system evaluation uses metrics that capture different properties of ranked lists, including Precision@K, Recall@K, Hit Rate@K, and NDCG@K. These metrics depend on how relevance is labeled, what cutoff K is used, and how users or queries are averaged. Offline ranking quality is useful for comparison but does not guarantee improved product or business outcomes; online experiments and guardrails are needed for deployment decisions.

What does Recall@K measure in a recommender evaluation?

RecallтАЩs denominator is the full relevant set, not the displayed list length.

Under the common Hit Rate@K convention, when does a user count as a hit?

Hit Rate is a binary indicator for at least one relevant item in top K.

What does NDCG add compared with an unordered count of relevant recommendations?

DCG discounts lower ranks; NDCG normalizes against ideal DCG.

Why should a report state its relevance labels and metric convention?

The guide notes label and formula choices affect interpretation and comparison.

Why can historical click logs be a biased relevance source?

Prior recommendations affect exposure and therefore observed clicks.

рд╕реАрдЦрддреЗ рд░рд╣реЛ

рд╕рдВрдмрдВрдзрд┐рдд рдорд╛рд░реНрдЧрджрд░реНрд╢рд┐рдХрд╛рдПрдБ

рдЗрд╕ рд╡рд┐рд╖рдп рдХреЗ рд▓рд┐рдП рдЕрдзрд┐рдХ рдорд╛рд░реНрдЧрджрд░реНрд╢рд┐рдХрд╛рдПрдБ рдЪреБрдиреА рдЧрдИрдВ

рдЖрдЧреЗрдЕрдЧрд▓реА рдЧрд╛рдЗрдб

рд░рд┐рдЯреНрд░реАрд╡рд▓ рдореЗрдЯреНрд░рд┐рдХреНрд╕: рд░рд┐рдХреЙрд▓@K, MRR рдФрд░ nDCG

рддрдХрдиреАрдХреА

рдирд┐рдГрд╢реБрд▓реНрдХ AI рдкреНрд░рдорд╛рдгрдкрддреНрд░ рдкреНрд░рд╛рдкреНрдд рдХрд░реЗрдВрдПрдХ рд╕рдВрдХреНрд╖рд┐рдкреНрдд рдирд┐рдГрд╢реБрд▓реНрдХ рдкрд╛рдареНрдпрдХреНрд░рдо рдФрд░ рдкрд░реАрдХреНрд╖рд╛ред рдХреЛрдИ рдХреАрдордд рдирд╣реАрдВ, рдХреЛрдИ рдХрд╛рд░реНрдб рдирд╣реАрдВ. рд▓рдЧрднрдЧ 2.5 рдШрдВрдЯреЗ.рдирд┐рдГрд╢реБрд▓реНрдХ рдкреНрд░рд╛рд░рдВрдн рдХрд░реЗрдВ тЖТ