DalšíDalší průvodce
Testování recall, precision a elusion v revizi dokumentů
Technický
Technický PRŮVODCE
Průměrná přesnost shrnuje přesnost modelu, když se vyvolání zvyšuje přes rozhodovací prahy.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Přesné křivky jsou užitečné, když jsou pozitivní případy vzácné, ale průměrná přesnost a lichoběžníková plocha pod touto křivkou jsou různé výpočty, které by měly být jasně pojmenovány.
Precision se ptá, kolik vybraných případů je pozitivních. Recall se ptá, kolik ze všech pozitivních případů bylo vybráno. Jakmile se prahová hodnota skóre modelu sníží, do vybraného souboru vstoupí více případů. Vyvolání se nemůže snižovat se snižováním prahu, ale přesnost může stoupat nebo klesat v závislosti na nově zahrnutých případech. Tento kompromis sleduje křivka přesnosti vyvolání. Je zvláště informativní pro vzácnou pozitivní třídu, protože přímo odhaluje, kolik vybraných položek je falešným poplachem. Křivka provozní charakteristiky přijímače odpovídá na jinou otázku pomocí falešně pozitivních hodnot, jejichž jmenovatel zahrnuje všechny skutečné zápory. Ani jeden pohled neodstraňuje nutnost zvažovat skutečné náklady na rozhodování. Průměrná přesnost shrnuje vztah přesnosti a vyvolání vážením hodnot přesnosti odpovídajícím zvýšením vyvolání. V jednoduchém hodnocení bez shodných skóre se rovná průměrné přesnosti na pozicích obsazených pozitivními případy. Předpokládejme, že jediná dvě pozitiva se objeví první a třetí. Přesnost na těchto pozicích je jedna a dvě třetiny, takže průměrná přesnost je asi 0,833. Označení PR-AUC může být nejednoznačné. Některé zprávy znamenají lichoběžníkovou integraci přesnosti proti vyvolání; jiní jej používají volně pro průměrnou přesnost. Scikit-learn rozlišuje average_precision_score od auc, který aplikuje lichoběžníkové pravidlo. Tyto hodnoty se mohou lišit, protože se liší předpoklady interpolace. Uveďte skutečný výpočet. Přesnost závisí na prevalenci pozitiv v populaci hodnocení. Skóre z vyváženého vzorku nemusí popisovat nastavení nasazení, kde jsou pozitiva vzácná. Nahlaste kladný zlomek a návrh hodnocení. A konečně, souhrn napříč prahovými hodnotami nevybírá provozní prahovou hodnotu. Zkontrolujte přesnost, vyvolání a pracovní zátěž v místě, kde bude model skutečně používán.
Fronta recenzí obsahuje mnoho běžných položek a několik relevantních položek. Křivka přesnosti zpětného vyvolání ukazuje kompromis mezi nalezením relevantnějších položek a žádostí recenzentů, aby zkontrolovali ty nerelevantnější.
V hypotetickém žebříčku bez shodného skóre se dva pozitivní případy objeví jako první a třetí. Přesnost na těchto pozicích je 1 a dvě třetiny, takže průměrná přesnost je asi 0,833.
Tým používá průměrné_precizní_skóre scikit-learn na štítcích a skóre předpovědí. Zaznamenává, která třída se počítá jako pozitivní, a vyhýbá se nahrazování skóre těžkými rozhodnutími před hodnocením.
Dva hodnotící datové soubory obsahují různé podíly pozitivních případů. Analytik uvádí tyto proporce před porovnáním výsledků přesnosti-vyvolání, protože prevalence mění způsob, jakým by měla být přesnost interpretována.
Panely hodnocení mohou zpřehlednit metriky hodnocení tím, že vedle souhrnného skóre zobrazují pozitivní prevalenci, přesný výpočet plochy a praktické provozní body. Kontrolnímu týmu může nejvíce záležet na tom, kolik užitečných případů se objeví v rámci pevné denní kapacity, zatímco jiný tým může potřebovat minimální stažení. Zachování předpovědí a štítků umožňuje, aby byly tyto otázky znovu přezkoumány beze změny modelu. Jak se populace mění, týmy by měly přehodnotit kompromis na reprezentativních datech spíše než předpokládat, že dřívější výsledek s průměrnou přesností zaručuje stejnou budoucí pracovní zátěž nebo užitečnost.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Průměrná přesnost shrnuje přesnost modelu, když se vyvolání zvyšuje přes rozhodovací prahy. Přesné křivky jsou užitečné, když jsou pozitivní případy vzácné, ale průměrná přesnost a lichoběžníková plocha pod touto křivkou jsou různé výpočty, které by měly být jasně pojmenovány.
Přesnost měří čistotu zvolené sady; odvolání měří podíl všech pozitiv, která byla nalezena.
Přesnost je jedna na prvním kladném a dvoutřetinová na druhém. Jejich průměr je pět šestin, přibližně 0,833.
Průměrná přesnost váží přesnost podle inkrementů vyvolání, zatímco lichoběžníková integrace spojuje body křivky pomocí jiné konstrukce plochy.
Skóre umožňuje hodnocení napříč prahovými hodnotami. Těžká rozhodnutí zachovávají pouze jeden provozní bod a zahazují většinu hodnotících informací.
Přesnost závisí na prevalenci třídy, takže populace a schémata vzorkování jsou nezbytným kontextem.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Testování recall, precision a elusion v revizi dokumentů
Technický