Kvíz spojený s průvodcem · Střední úroveň
Vyhodnocování doporučovacích systémů: NDCG, Hit Rate a další kvíz
Testuje definice metriky top-K hodnocení, co každá míra zachycuje, jak značky ovlivňují interpretaci a proč je třeba ověřovat offline skóre živými výsledky.
Otázka 1 z 8
Seznam má 10 doporučení, z nichž 4 je relevantních podle evaluačních značek. Jaká je přesnost@10?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Seznam má 10 doporučení, z nichž 4 je relevantních podle evaluačních značek. Jaká je přesnost@10?
- 0,4, protože 4 z prvních 10 položek je relevantních
- 0,6, protože 6 položek je irelevantních
- 4, protože přesnost je počet relevantních položek
- 0,1, protože limit je 10
- Co měří Recall@K v hodnocení doporučovacích systémů?
- Zda byl alespoň jeden prvek v seznamu kliknut
- Průměrná pozice každé položky katalogu
- Podíl všech označených relevantních položek, které se objeví v top K
- Podíl top K seznamu, který je relevantní
- Podle běžné konvence Hit Rate@K, kdy se uživatel počítá jako úspěch?
- Každá položka v top-K seznamu je relevantní
- Uživatel klikne na každé doporučení
- První výsledek má vyšší skóre než druhý
- Alespoň jeden vyřazený relevantní prvek se objeví v uživatelově top-K seznamu
- Co přidává NDCG oproti neuspořádanému počtu relevantních doporučení?
- Vypočítává, zda se nějaká položka objeví kdekoli v katalogu
- Zohledňuje pořadí hodnocení tím, že snižuje váhu nižších relevantních výsledků a normalizuje podle ideálního pořadí
- Měří pouze velikost katalogu a pokrytí položek
- Nahrazuje relevance značky výnosy z prokliků
- Proč by měl zpráva uvádět své relevance značky a konvenci metrik?
- Všechny relevance značky jsou zaměnitelné, jakmile je vybráno K
- Napříč všemi doporučovacími systémy je vyžadována jedna standardní konvence
- Popisky metrik nemají vliv na vykazované výsledky
- Kliknutí, nákupy a hodnocení představují odlišné chování a implementace metrik se mohou lišit
- Offline skóre NDCG se zlepšilo. K jakému závěru může tým bezpečně dojít?
- Model v rámci tohoto offline nastavení seřadil zvolené hodnotící popisky lépe; dopad v reálném provozu je stále třeba ověřit
- Produkt bude nutně generovat vyšší příjmy
- Uživatelé budou rozhodně spokojenější
- Model je připraven ke spuštění bez ochranných mechanismů
- Proč mohou být historické záznamy kliknutí zkresleným zdrojem relevance?
- Historické záznamy neobsahují žádné informace o pořadí
- Aktivita uživatelů může zkreslit pouze metriku Recall, nikdy Precision nebo NDCG
- Předchozí systém řazení ovlivnil, které položky měli uživatelé možnost vidět
- Kliknutí vždy odhalují objektivní relevanci bez vlivu expozice
- Který plán hodnocení je před spuštěním velkého doporučovacího systému nejpřínosnější?
- Porovnat celkový počet kliknutí bez kontroly expozice na úrovni uživatelů
- Vykázat offline metriky s definicemi a ochrannými mechanismy a následně tam, kde je to vhodné, otestovat výsledky v reálném provozu
- Vybrat model s nejvyšší mírou úspěšnosti (Hit Rate) a vynechat produktové metriky
- Optimalizovat jediné offline skóre, dokud nedosáhne hodnoty 1,0