DalšíDalší průvodce
Průměrná přesnost a PR-AUC
Technický
PRŮVODCE Základy
Křivka ROC vykresluje, jak dobře klasifikátor odděluje dvě třídy přes každý možný práh rozhodování, a AUC stlačuje celou křivku do jednoho čísla.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Together they tell you ranking quality independent of where you draw the cutoff.
Křivka provozní charakteristiky přijímače (ROC) vykresluje skutečnou pozitivní frekvenci (citlivost, na ose y) proti falešně pozitivní frekvenci (1 minus specificita, na ose x), když posouváte prahovou hodnotu klasifikace z 1 dolů na 0. Každá prahová hodnota dává jeden bod; jejich spojením vede křivka. Model, který řadí každé pozitivum nad každé negativum, obepíná levý horní roh. Plocha pod křivkou (AUC) měří celkovou plochu pod touto čarou v rozmezí od 0,5 (náhodné hádání, úhlopříčka) do 1,0 (dokonalé). Šikovná interpretace: AUC se rovná pravděpodobnosti, že model získá náhodně vybraný pozitivní výsledek vyšší než náhodně vybraný negativní výsledek. Termín pochází od operátorů radarů z druhé světové války, kteří rozlišují signál od šumu.
Porovnání dvou modelů detekce podvodů pro banku podle jejich AUC s cílem vybrat ten, který nejlépe hodnotí podvodné transakce nad těmi legitimními
Vyhodnocení diagnostického testu na onemocnění (např. klasifikátor screeningu rakoviny), kde radiologové potřebují vyměnit zachytávání více případů za falešné poplachy
Vyladění prahové hodnoty spamového filtru pomocí ROC křivky, aby se falešně pozitivní (legitimní pošta označená jako spam) udržela na velmi nízké úrovni
Srovnávání modelu hodnocení úvěrového selhání, kde AUC shrnuje, jak dobře odděluje dlužníky, kteří splácejí, od těch, kteří nesplácejí úvěr
ROC-AUC zůstává výchozí metrikou vykazování, ale odborníci ji stále častěji spojují s křivkami Precision-Recall pro silně nevyvážená data, kde ROC může vypadat klamně optimisticky. Očekávejte širší přijetí částečné AUC (se zaměřením na oblast s nízkou falešně pozitivní pozitivitou, která je provozně důležitá), analýzu citlivou na náklady a rozhodovací křivku a hlášení AUC pro jednotlivé podskupiny, aby se objevily mezery ve spravedlnosti. Jak modely podporují skutečná rozhodnutí, budou kalibrační metriky a AUC stále častěji uváděny vedle sebe, spíše než samotné AUC.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Křivka ROC vykresluje, jak dobře klasifikátor odděluje dvě třídy přes každý možný práh rozhodování, a AUC stlačuje celou křivku do jednoho čísla. Dohromady vám řeknou hodnocení kvality nezávisle na tom, kde kreslíte hranici.
Křivka ROC vykresluje skutečnou pozitivní frekvenci (citlivost) na ose y proti falešně pozitivní frekvenci (1 – specificita) na ose x napříč prahovými hodnotami.
Náhodný klasifikátor sleduje diagonální čáru a dává AUC 0,5. AUC 1,0 je perfektní a 0,0 znamená, že dostane každé hodnocení přesně zpět.
AUC shrnuje celou křivku ROC, která je generována rozmítáním každého prahu, takže nezávisí na žádné jednotlivé zvolené hranici.
U vzácných pozitivních problémů velký počet skutečně negativních udržuje falešně pozitivní míru nízkou, což zvyšuje ROC. Křivky Precision-Recall se zaměřují na pozitivní třídu a odhalují výkon upřímněji.
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Průměrná přesnost a PR-AUC
Technický