Kvíz spojený s průvodcem · Střední úroveň
Průměrná přesnost a PR-AUC kvíz
Při vyhodnocování modelů, které hodnotí vzácná pozitiva, si procvičte kompromisy s přesností, výpočty s průměrnou přesností a efekty prevalence.
Otázka 1 z 8
Jaké množství měří přesnost pro vybranou frontu recenzí?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaké množství měří přesnost pro vybranou frontu recenzí?
- Zlomek všech pozitivních případů, které byly vybrány
- Podíl vybraných případů, které jsou pozitivní
- Zlomek všech negativních případů, které byly vyloučeny
- Průměrné skóre přidělené každému nevybranému případu
- V žebříčku bez shodných skóre jsou jediná pozitiva první a třetí. Jaká průměrná přesnost následuje?
- 0,5
- 0,667
- 1,0
- Asi 0,833
- Proč se může lichoběžníkový PR-AUC lišit od průměrné přesnosti?
- Používají různá interpolační a sčítací pravidla
- Průměrná přesnost průměruje přesnost rovnoměrně napříč každým prahem
- Lichoběžníkový PR-AUC váží pouze prahové hodnoty, do kterých vstoupí pozitivní případ
- Průměrná přesnost vždy vyhodnocuje přesně jeden rozhodovací práh
- Které vstupy uchovávají informace o hodnocení potřebné pro průměrnou přesnost?
- Pouze poslední těžká rozhodnutí a jejich celkový počet
- Pozorované štítky a jeden sdílený práh, bez skóre pro jednotlivé případy
- Pozorované štítky a předpovědní skóre modelu
- Pouze matoucí matice na jednom prahu
- Dva soubory dat mají velmi odlišnou prevalenci pozitivní třídy. Co by mělo doprovázet srovnání jejich skóre přesnosti?
- Pouze celková přesnost u každého souboru dat
- Pozitivní frakce a návrhy vzorkování pro hodnocení
- Pouze zda oba modely používají stejný práh
- Pouze to, zda predikovaná skóre zaujímají stejný číselný rozsah
- Co se stane s vybavováním, když se sníží práh skóre a zahrne více případů?
- Musí se striktně zvyšovat na každém kroku
- Může se snížit, když se přidá záporný případ
- Musí být identická s přesností
- Nemůže se snížit
- Proč je nutné při výpočtu průměrné přesnosti zacházet opatrně se skórem předpovědí?
- Případy se stejným skóre společně překročí práh
- Změna pořadí nerozhodných řad vždy ponechá zkratku pořadí bez remíz nezměněnou
- Prahová hodnota může vybrat vázané pozitivy před vázanými negativy
- Vázané příklady by měly mít každý jiný práh na základě jejich skutečného označení
- Model má vysokou průměrnou přesnost. Která otázka nasazení stále vyžaduje samostatnou kontrolu?
- Zda model dosáhl užitečného shrnutí napříč prahovými hodnotami
- Zda hlášený souhrn používal přesnost a zapamatovatelnost
- Zda jsou přesnost a pracovní zatížení přijatelné při zvoleném provozním prahu
- Zda bylo zvýšení počtu vyvolání použito jako váhy ve vykázaném výpočtu AP