LegközelebbKövetkező útmutató
Retrieval Metrics: Recall@K, MRR and nDCG
Műszaki
Műszaki ÚTMUTATÓ
A Recommender-rendszer kiértékelése olyan metrikákat használ, amelyek a rangsorolt listák különböző tulajdonságait rögzítik, beleértve a Precision@K, Recall@K, Hit Rate@K és NDCG@K.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ezek a mutatók a relevancia címkézésétől, a K határérték használatától és a felhasználók vagy lekérdezések átlagolásától függenek. Az offline rangsorolás minősége hasznos az összehasonlításhoz, de nem garantálja a jobb termék- vagy üzleti eredményeket; online kísérletekre és korlátokra van szükség a telepítési döntésekhez.
Ranking metrics are summaries of a particular evaluation setup, not universal descriptions of recommendation quality. Precision@K is the fraction of the top K recommendations that are relevant under the chosen labels. Recall@K is the fraction of relevant items in the evaluation set that appear in the top K. Hit Rate@K typically records whether a user’s top-K list contains at least one relevant item and averages that indicator across users; implementations differ, so state the convention. A hit does not reveal how many relevant items were retrieved or whether they ranked first. Discounted Cumulative Gain (DCG) rewards relevant results while discounting lower-ranked positions. Normalized DCG (NDCG) divides DCG by the ideal DCG for the same relevance judgments, making comparisons easier across queries with different ideal gains. Implementations can differ in gain and discount formulas, treatment of ties, and cutoff. For example, scikit-learn describes NDCG as summing true scores in the predicted ranking after logarithmic discount and dividing by the best possible score. A metric is only meaningful alongside a clear definition of ground truth: clicks, purchases, ratings, and survey judgments measure different behaviors and carry biases. Offline evaluation on historical logs is fast and reproducible, but it cannot alone predict live impact. Exposure and selection effects shape observed interactions, and optimizing one metric can reduce diversity, catalog coverage, satisfaction, or a business outcome. Google’s ML project guidance explicitly cautions that strong model metrics do not guarantee business success and recommends tracking focused business metrics. Teams should report metric conventions, baselines, segments, uncertainty, and guardrails, then validate consequential changes with a suitable online experiment where ethical and practical. There is no single best recommender metric for every objective.
Egy csapat a Precision@10 segítségével hasonlítja össze a modell top-10 listáit, és a számlálót releváns elemként határozza meg az első tíz között, a nevezőt pedig tízben.
A katalóguscsapat a Recall@K segítségével nyomon követi, hogy a felhasználó által megcímkézett releváns tételek mekkora része jelenik meg a felső K-ban, ahol a jelöltkészlet és a relevanciacímkék szerepelnek.
A Hit Rate@K jelentés akkor számít találatnak egy felhasználót, ha legalább egy kinyújtott releváns elem megjelenik a felső K-ban, majd átlagolja ezt a bináris eredményt a felhasználók között.
A kutató akkor használja az NDCG@K-t, ha a korai eredmények sorrendje és fokozatos relevanciája számít, majd egy online teszt során ellenőrzi, hogy az offline változás javítja-e a felhasználói eredményeket.
Mivel az ajánlók több tartalomtípust és célt kombinálnak, a csapatoknak olyan metrikakészletekre lesz szükségük, amelyek tükrözik a relevanciát, a sokszínűséget, a lefedettséget, a felhasználói kontrollt és az üzleti értéket. Az átlátható konvenciók reprodukálhatóvá teszik az összehasonlításokat, míg az online tesztek olyan eredményeket tárnak fel, amelyekre a történelmi címkék nem képesek. A mérőszámok kiválasztásának követnie kell a termék felhasználói igényét és kockázati profilját; a pontozási képlet megváltoztatása nem szünteti meg a valós hatások érvényesítésének szükségességét. A csapatoknak újra meg kell vizsgálniuk a címkéket és a levágásokat, ha a felhasználói viselkedés, a katalógus összetétele vagy a felület kialakítása megváltozik. A kompakt, dokumentált metrikus csomag láthatóvá teszi a kompromisszumokat, és segít megakadályozni, hogy egy pontszám csendben a termék célja legyen.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Recommender-rendszer kiértékelése olyan metrikákat használ, amelyek a rangsorolt listák különböző tulajdonságait rögzítik, beleértve a Precision@K, Recall@K, Hit Rate@K és NDCG@K. Ezek a mutatók a relevancia címkézésétől, a K határérték használatától és a felhasználók vagy lekérdezések átlagolásától függenek. Az offline rangsorolás minősége hasznos az összehasonlításhoz, de nem garantálja a jobb termék- vagy üzleti eredményeket; online kísérletekre és korlátokra van szükség a telepítési döntésekhez.
A visszahívás nevezője a teljes releváns halmaz, nem a megjelenített lista hossza.
A találati arány legalább egy releváns elem bináris mutatója a felső K-ban.
DCG discounts lower ranks; NDCG normalizes against ideal DCG.
Az útmutató megjegyzi, hogy a címke- és képletválasztás befolyásolja az értelmezést és az összehasonlítást.
A korábbi ajánlások befolyásolják az expozíciót, és ezáltal a megfigyelt kattintásokat.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Retrieval Metrics: Recall@K, MRR and nDCG
Műszaki