LegközelebbKövetkező útmutató
Átlagos pontosság és PR-AUC
Műszaki
Alapok ÚTMUTATÓ
A ROC görbe azt ábrázolja, hogy az osztályozó milyen jól választ el két osztályt az összes lehetséges döntési küszöbön, és az AUC ezt a teljes görbét egy számba tömöríti.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Együtt mondják el a rangsorolás minőségét, függetlenül attól, hogy hol húzza meg a határértéket.
A vevő működési jellemzői (ROC) görbe a valós pozitív arányt (érzékenység, az y tengelyen) ábrázolja a hamis pozitív arány (1 mínusz specifitás, az x tengelyen) függvényében, ahogy az osztályozási küszöböt 1-ről 0-ra csúsztatja. Minden küszöb egy pontot ad; összekötő őket nyomon követi a görbét. Az a modell, amely minden pozitívumot minden negatív fölé helyez, átöleli a bal felső sarkot. A görbe alatti terület (AUC) az e vonal alatti teljes területet méri, 0,5-től (véletlenszerű találgatás, átló) és 1,0-ig (tökéletes). Egy praktikus értelmezés: Az AUC egyenlő annak valószínűségével, hogy a modell egy véletlenszerűen kiválasztott pozitív pontszámot magasabb, mint egy véletlenszerűen kiválasztott negatívot. A kifejezés a második világháborús radarkezelőktől származik, akik megkülönböztetik a jelet a zajtól.
Egy bank két csalásészlelési modelljének összehasonlítása az AUC alapján, hogy kiválasszák azt, amelyik a legjobban rangsorolja a csalárd tranzakciókat a jogszerűek fölé.
Egy betegség diagnosztikai tesztjének kiértékelése (pl. egy rákszűrési osztályozó), ahol a radiológusoknak a téves riasztások ellen több esetet kell felvenniük.
A levélszemétszűrő küszöbértékének beállítása a ROC görbével a téves pozitív (jogos levelek spamként megjelölve) nagyon alacsonyan tartásához
Egy hitel-nemteljesítési pontozási modell összehasonlítása, ahol az AUC összefoglalja, hogy mennyire jól választja el a törlesztő hitelfelvevőket a nemteljesítőktől
A ROC-AUC továbbra is az alapértelmezett jelentési mérőszám, de a gyakorló szakemberek egyre inkább a Precision-Recall görbékkel párosítják az erősen kiegyensúlyozatlan adatokhoz, ahol a ROC megtévesztően optimistának tűnhet. Várható a részleges AUC (az alacsony hamis pozitív régióra összpontosítva, amely működési szempontból fontos), a költségérzékeny és a döntési görbe elemzése, valamint az alcsoportonkénti AUC jelentése a felületi méltányossági hiányosságok szélesebb körű elfogadása. Ahogy a modellek valódi döntéseket táplálnak, a kalibrációs metrikák és az AUC egyre inkább egymás mellett jelennek meg, nem pedig az AUC egyedül.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A ROC görbe azt ábrázolja, hogy az osztályozó milyen jól választ el két osztályt az összes lehetséges döntési küszöbön, és az AUC ezt a teljes görbét egy számba tömöríti. Együtt mondják el a rangsorolás minőségét, függetlenül attól, hogy hol húzza meg a határértéket.
Egy ROC-görbe ábrázolja a valódi pozitív arányt (érzékenységet) az y tengelyen a hamis pozitív arány (1 - specifitás) ellenében az x tengelyen a küszöbértékeken keresztül.
Egy véletlenszerű osztályozó követi az átlós vonalat, és az AUC értéke 0,5. Az 1,0-s AUC tökéletes, a 0,0 pedig azt jelenti, hogy minden helyezést pontosan visszafelé kap.
Az AUC összefoglalja a teljes ROC-görbét, amely minden küszöbérték áthúzásával jön létre, így nem függ egyetlen kiválasztott határértéktől sem.
Ritka pozitív problémák esetén a valódi negatívok nagy száma alacsonyan tartja a hamis pozitív arányt, növelve a ROC-t. A Precision-Recall görbék a pozitív osztályra összpontosítanak, és őszintébben mutatják meg a teljesítményt.
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Átlagos pontosság és PR-AUC
Műszaki