Kvíz spojený s průvodcem · Střední úroveň

Vyhodnocování doporučovacích systémů: NDCG, Hit Rate a další kvíz

Testuje definice metriky top-K hodnocení, co každá míra zachycuje, jak značky ovlivňují interpretaci a proč je třeba ověřovat offline skóre živými výsledky.

Otázka 1 z 8

Seznam má 10 doporučení, z nichž 4 je relevantních podle evaluačních značek. Jaká je přesnost@10?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Seznam má 10 doporučení, z nichž 4 je relevantních podle evaluačních značek. Jaká je přesnost@10?
    • 0,4, protože 4 z prvních 10 položek je relevantních
    • 0,6, protože 6 položek je irelevantních
    • 4, protože přesnost je počet relevantních položek
    • 0,1, protože limit je 10
  2. Co měří Recall@K v hodnocení doporučovacích systémů?
    • Zda byl alespoň jeden prvek v seznamu kliknut
    • Průměrná pozice každé položky katalogu
    • Podíl všech označených relevantních položek, které se objeví v top K
    • Podíl top K seznamu, který je relevantní
  3. Podle běžné konvence Hit Rate@K, kdy se uživatel počítá jako úspěch?
    • Každá položka v top-K seznamu je relevantní
    • Uživatel klikne na každé doporučení
    • První výsledek má vyšší skóre než druhý
    • Alespoň jeden vyřazený relevantní prvek se objeví v uživatelově top-K seznamu
  4. Co přidává NDCG oproti neuspořádanému počtu relevantních doporučení?
    • Vypočítává, zda se nějaká položka objeví kdekoli v katalogu
    • Zohledňuje pořadí hodnocení tím, že snižuje váhu nižších relevantních výsledků a normalizuje podle ideálního pořadí
    • Měří pouze velikost katalogu a pokrytí položek
    • Nahrazuje relevance značky výnosy z prokliků
  5. Proč by měl zpráva uvádět své relevance značky a konvenci metrik?
    • Všechny relevance značky jsou zaměnitelné, jakmile je vybráno K
    • Napříč všemi doporučovacími systémy je vyžadována jedna standardní konvence
    • Popisky metrik nemají vliv na vykazované výsledky
    • Kliknutí, nákupy a hodnocení představují odlišné chování a implementace metrik se mohou lišit
  6. Offline skóre NDCG se zlepšilo. K jakému závěru může tým bezpečně dojít?
    • Model v rámci tohoto offline nastavení seřadil zvolené hodnotící popisky lépe; dopad v reálném provozu je stále třeba ověřit
    • Produkt bude nutně generovat vyšší příjmy
    • Uživatelé budou rozhodně spokojenější
    • Model je připraven ke spuštění bez ochranných mechanismů
  7. Proč mohou být historické záznamy kliknutí zkresleným zdrojem relevance?
    • Historické záznamy neobsahují žádné informace o pořadí
    • Aktivita uživatelů může zkreslit pouze metriku Recall, nikdy Precision nebo NDCG
    • Předchozí systém řazení ovlivnil, které položky měli uživatelé možnost vidět
    • Kliknutí vždy odhalují objektivní relevanci bez vlivu expozice
  8. Který plán hodnocení je před spuštěním velkého doporučovacího systému nejpřínosnější?
    • Porovnat celkový počet kliknutí bez kontroly expozice na úrovni uživatelů
    • Vykázat offline metriky s definicemi a ochrannými mechanismy a následně tam, kde je to vhodné, otestovat výsledky v reálném provozu
    • Vybrat model s nejvyšší mírou úspěšnosti (Hit Rate) a vynechat produktové metriky
    • Optimalizovat jediné offline skóre, dokud nedosáhne hodnoty 1,0