DalšíDalší průvodce
FP8 a formáty s nízkou přesností
Technický
Technický PRŮVODCE
Průměrná přesnost a PR-AUC
Průměrná přesnost shrnuje přesnost modelu, když se vyvolání zvyšuje přes rozhodovací prahy.
Na této stránce3 min čtení
Přehled
Přesné křivky jsou užitečné, když jsou pozitivní případy vzácné, ale průměrná přesnost a lichoběžníková plocha pod touto křivkou jsou různé výpočty, které by měly být jasně pojmenovány.
Hluboký ponor
Precision se ptá, kolik vybraných případů je pozitivních. Recall se ptá, kolik ze všech pozitivních případů bylo vybráno. Jakmile se prahová hodnota skóre modelu sníží, do vybraného souboru vstoupí více případů. Vyvolání se nemůže snižovat se snižováním prahu, ale přesnost může stoupat nebo klesat v závislosti na nově zahrnutých případech. Tento kompromis sleduje křivka přesnosti vyvolání. Je zvláště informativní pro vzácnou pozitivní třídu, protože přímo odhaluje, kolik vybraných položek je falešným poplachem. Křivka provozní charakteristiky přijímače odpovídá na jinou otázku pomocí falešně pozitivních hodnot, jejichž jmenovatel zahrnuje všechny skutečné zápory. Ani jeden pohled neodstraňuje nutnost zvažovat skutečné náklady na rozhodování. Průměrná přesnost shrnuje vztah přesnosti a vyvolání vážením hodnot přesnosti odpovídajícím zvýšením vyvolání. V jednoduchém hodnocení bez shodných skóre se rovná průměrné přesnosti na pozicích obsazených pozitivními případy. Předpokládejme, že jediná dvě pozitiva se objeví první a třetí. Přesnost na těchto pozicích je jedna a dvě třetiny, takže průměrná přesnost je asi 0,833. Označení PR-AUC může být nejednoznačné. Některé zprávy znamenají lichoběžníkovou integraci přesnosti proti vyvolání; jiní jej používají volně pro průměrnou přesnost. Scikit-learn rozlišuje average_precision_score od auc, který aplikuje lichoběžníkové pravidlo. Tyto hodnoty se mohou lišit, protože se liší předpoklady interpolace. Uveďte skutečný výpočet. Přesnost závisí na prevalenci pozitiv v populaci hodnocení. Skóre z vyváženého vzorku nemusí popisovat nastavení nasazení, kde jsou pozitiva vzácná. Nahlaste kladný zlomek a návrh hodnocení. A konečně, souhrn napříč prahovými hodnotami nevybírá provozní prahovou hodnotu. Zkontrolujte přesnost, vyvolání a pracovní zátěž v místě, kde bude model skutečně používán.
Strategický dopad
Cena a rozpočet
Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
Jasnější rozhodnutí
Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
Kontrola kvality
Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.
Budoucnost průměrné přesnosti a PR-AUC
Panely hodnocení mohou zpřehlednit metriky hodnocení tím, že vedle souhrnného skóre zobrazují pozitivní prevalenci, přesný výpočet plochy a praktické provozní body. Kontrolnímu týmu může nejvíce záležet na tom, kolik užitečných případů se objeví v rámci pevné denní kapacity, zatímco jiný tým může potřebovat minimální stažení. Zachování předpovědí a štítků umožňuje, aby byly tyto otázky znovu přezkoumány beze změny modelu. Jak se populace mění, týmy by měly přehodnotit kompromis na reprezentativních datech spíše než předpokládat, že dřívější výsledek s průměrnou přesností zaručuje stejnou budoucí pracovní zátěž nebo užitečnost.
Real-World Implementace
Fronta recenzí obsahuje mnoho běžných položek a několik relevantních položek. Křivka přesnosti zpětného vyvolání ukazuje kompromis mezi nalezením relevantnějších položek a žádostí recenzentů, aby zkontrolovali ty nerelevantnější.
V hypotetickém žebříčku bez shodného skóre se dva pozitivní případy objeví jako první a třetí. Přesnost na těchto pozicích je 1 a dvě třetiny, takže průměrná přesnost je asi 0,833.
Tým používá průměrné_precizní_skóre scikit-learn na štítcích a skóre předpovědí. Zaznamenává, která třída se počítá jako pozitivní, a vyhýbá se nahrazování skóre těžkými rozhodnutími před hodnocením.
Dva hodnotící datové soubory obsahují různé podíly pozitivních případů. Analytik uvádí tyto proporce před porovnáním výsledků přesnosti-vyvolání, protože prevalence mění způsob, jakým by měla být přesnost interpretována.
Rizika a zábradlí
Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
Náklady na infrastrukturu a údržbu jsou často podceňovány.
Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.
Plán implementace
Před implementací definujte cíle latence, kvality a nákladů.
Benchmark za realistických podmínek zatížení a dat.
Monitorování chyb, posunu a dopadu na uživatele.
Před škálováním připravte cesty vrácení zpět a reakce na incidenty.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Average Precision and PR-AUC quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Často kladené otázky
Co je průměrná přesnost a PR-AUC?
Průměrná přesnost shrnuje přesnost modelu, když se vyvolání zvyšuje přes rozhodovací prahy. Přesné křivky jsou užitečné, když jsou pozitivní případy vzácné, ale průměrná přesnost a lichoběžníková plocha pod touto křivkou jsou různé výpočty, které by měly být jasně pojmenovány.
Jaké množství měří přesnost pro vybranou frontu recenzí?
Přesnost měří čistotu zvolené sady; odvolání měří podíl všech pozitiv, která byla nalezena.
V žebříčku bez shodných skóre jsou jediná pozitiva první a třetí. Jaká průměrná přesnost následuje?
Přesnost je jedna na prvním kladném a dvoutřetinová na druhém. Jejich průměr je pět šestin, přibližně 0,833.
Proč se může lichoběžníkový PR-AUC lišit od průměrné přesnosti?
Průměrná přesnost váží přesnost podle inkrementů vyvolání, zatímco lichoběžníková integrace spojuje body křivky pomocí jiné konstrukce plochy.
Které vstupy uchovávají informace o hodnocení potřebné pro průměrnou přesnost?
Skóre umožňuje hodnocení napříč prahovými hodnotami. Těžká rozhodnutí zachovávají pouze jeden provozní bod a zahazují většinu hodnotících informací.
Dva soubory dat mají velmi odlišnou prevalenci pozitivní třídy. Co by mělo doprovázet srovnání jejich skóre přesnosti?
Přesnost závisí na prevalenci třídy, takže populace a schémata vzorkování jsou nezbytným kontextem.
Učte se dál
Související průvodci
Pro toto téma bylo vybráno více průvodců