Kvíz spojený s průvodcem · Střední úroveň

Průměrná přesnost a PR-AUC kvíz

Při vyhodnocování modelů, které hodnotí vzácná pozitiva, si procvičte kompromisy s přesností, výpočty s průměrnou přesností a efekty prevalence.

Související vodicí cestyPrůměrná přesnost a pr Auc
Otázka 1 z 8

Jaké množství měří přesnost pro vybranou frontu recenzí?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaké množství měří přesnost pro vybranou frontu recenzí?
    • Zlomek všech pozitivních případů, které byly vybrány
    • Podíl vybraných případů, které jsou pozitivní
    • Zlomek všech negativních případů, které byly vyloučeny
    • Průměrné skóre přidělené každému nevybranému případu
  2. V žebříčku bez shodných skóre jsou jediná pozitiva první a třetí. Jaká průměrná přesnost následuje?
    • 0,5
    • 0,667
    • 1,0
    • Asi 0,833
  3. Proč se může lichoběžníkový PR-AUC lišit od průměrné přesnosti?
    • Používají různá interpolační a sčítací pravidla
    • Průměrná přesnost průměruje přesnost rovnoměrně napříč každým prahem
    • Lichoběžníkový PR-AUC váží pouze prahové hodnoty, do kterých vstoupí pozitivní případ
    • Průměrná přesnost vždy vyhodnocuje přesně jeden rozhodovací práh
  4. Které vstupy uchovávají informace o hodnocení potřebné pro průměrnou přesnost?
    • Pouze poslední těžká rozhodnutí a jejich celkový počet
    • Pozorované štítky a jeden sdílený práh, bez skóre pro jednotlivé případy
    • Pozorované štítky a předpovědní skóre modelu
    • Pouze matoucí matice na jednom prahu
  5. Dva soubory dat mají velmi odlišnou prevalenci pozitivní třídy. Co by mělo doprovázet srovnání jejich skóre přesnosti?
    • Pouze celková přesnost u každého souboru dat
    • Pozitivní frakce a návrhy vzorkování pro hodnocení
    • Pouze zda oba modely používají stejný práh
    • Pouze to, zda predikovaná skóre zaujímají stejný číselný rozsah
  6. Co se stane s vybavováním, když se sníží práh skóre a zahrne více případů?
    • Musí se striktně zvyšovat na každém kroku
    • Může se snížit, když se přidá záporný případ
    • Musí být identická s přesností
    • Nemůže se snížit
  7. Proč je nutné při výpočtu průměrné přesnosti zacházet opatrně se skórem předpovědí?
    • Případy se stejným skóre společně překročí práh
    • Změna pořadí nerozhodných řad vždy ponechá zkratku pořadí bez remíz nezměněnou
    • Prahová hodnota může vybrat vázané pozitivy před vázanými negativy
    • Vázané příklady by měly mít každý jiný práh na základě jejich skutečného označení
  8. Model má vysokou průměrnou přesnost. Která otázka nasazení stále vyžaduje samostatnou kontrolu?
    • Zda model dosáhl užitečného shrnutí napříč prahovými hodnotami
    • Zda hlášený souhrn používal přesnost a zapamatovatelnost
    • Zda jsou přesnost a pracovní zatížení přijatelné při zvoleném provozním prahu
    • Zda bylo zvýšení počtu vyvolání použito jako váhy ve vykázaném výpočtu AP