Alapok ÚTMUTATÓ

ROC görbék és AUC

A ROC görbe azt ábrázolja, hogy az osztályozó milyen jól választ el két osztályt az összes lehetséges döntési küszöbön, és az AUC ezt a teljes görbét egy számba tömöríti.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A ROC Curves és az AUC jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Együtt mondják el a rangsorolás minőségét, függetlenül attól, hogy hol húzza meg a határértéket.

Mély merülés

A vevő működési jellemzői (ROC) görbe a valós pozitív arányt (érzékenység, az y tengelyen) ábrázolja a hamis pozitív arány (1 mínusz specifitás, az x tengelyen) függvényében, ahogy az osztályozási küszöböt 1-ről 0-ra csúsztatja. Minden küszöb egy pontot ad; összekötő őket nyomon követi a görbét. Az a modell, amely minden pozitívumot minden negatív fölé helyez, átöleli a bal felső sarkot. A görbe alatti terület (AUC) az e vonal alatti teljes területet méri, 0,5-től (véletlenszerű találgatás, átló) és 1,0-ig (tökéletes). Egy praktikus értelmezés: Az AUC egyenlő annak valószínűségével, hogy a modell egy véletlenszerűen kiválasztott pozitív pontszámot magasabb, mint egy véletlenszerűen kiválasztott negatívot. A kifejezés a második világháborús radarkezelőktől származik, akik megkülönböztetik a jelet a zajtól.

Valós megvalósítás

Egy bank két csalásészlelési modelljének összehasonlítása az AUC alapján, hogy kiválasszák azt, amelyik a legjobban rangsorolja a csalárd tranzakciókat a jogszerűek fölé.

Egy betegség diagnosztikai tesztjének kiértékelése (pl. egy rákszűrési osztályozó), ahol a radiológusoknak a téves riasztások ellen több esetet kell felvenniük.

A levélszemétszűrő küszöbértékének beállítása a ROC görbével a téves pozitív (jogos levelek spamként megjelölve) nagyon alacsonyan tartásához

Egy hitel-nemteljesítési pontozási modell összehasonlítása, ahol az AUC összefoglalja, hogy mennyire jól választja el a törlesztő hitelfelvevőket a nemteljesítőktől

A ROC Curves és az AUC jövője

A ROC-AUC továbbra is az alapértelmezett jelentési mérőszám, de a gyakorló szakemberek egyre inkább a Precision-Recall görbékkel párosítják az erősen kiegyensúlyozatlan adatokhoz, ahol a ROC megtévesztően optimistának tűnhet. Várható a részleges AUC (az alacsony hamis pozitív régióra összpontosítva, amely működési szempontból fontos), a költségérzékeny és a döntési görbe elemzése, valamint az alcsoportonkénti AUC jelentése a felületi méltányossági hiányosságok szélesebb körű elfogadása. Ahogy a modellek valódi döntéseket táplálnak, a kalibrációs metrikák és az AUC egyre inkább egymás mellett jelennek meg, nem pedig az AUC egyedül.

A gyakorlatba ültetés

Miért számít

  • Tisztább döntések. Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől.
  • Költség és költségvetés. Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene.
  • Csapat és munkafolyamat. A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban.

Vigyázz

  • A különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört.
  • A benchmarkok erősnek tűnhetnek, miközben a valós teljesítmény egyenetlen.
  • Az adatminőségi és értékelési tervek figyelmen kívül hagyása gyakran törékeny eredményekhez vezet.

Következő lépések

  1. Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával.
  2. A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt.
  3. Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel.
  4. Dokumentálja, hol segít a ROC görbék és az AUC, és hol jobbak az egyszerűbb módszerek.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the ROC Curves and AUC quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi a ROC görbék és az AUC?

A ROC görbe azt ábrázolja, hogy az osztályozó milyen jól választ el két osztályt az összes lehetséges döntési küszöbön, és az AUC ezt a teljes görbét egy számba tömöríti. Együtt mondják el a rangsorolás minőségét, függetlenül attól, hogy hol húzza meg a határértéket.

Milyen két mennyiséget ábrázol egymáshoz képest egy ROC-görbe?

Egy ROC-görbe ábrázolja a valódi pozitív arányt (érzékenységet) az y tengelyen a hamis pozitív arány (1 - specifitás) ellenében az x tengelyen a küszöbértékeken keresztül.

Milyen AUC-érték felel meg egy olyan osztályozónak, amely nem teljesít jobban, mint a véletlenszerű találgatás?

Egy véletlenszerű osztályozó követi az átlós vonalat, és az AUC értéke 0,5. Az 1,0-s AUC tökéletes, a 0,0 pedig azt jelenti, hogy minden helyezést pontosan visszafelé kap.

Miért nevezik az AUC-t „küszöbfüggetlennek”?

Az AUC összefoglalja a teljes ROC-görbét, amely minden küszöbérték áthúzásával jön létre, így nem függ egyetlen kiválasztott határértéktől sem.

Egy erősen kiegyensúlyozatlan adatkészlet esetén melyik görbét ajánlják gyakran a ROC mellé vagy helyett, mert a ROC túlságosan optimistának tűnhet?

Ritka pozitív problémák esetén a valódi negatívok nagy száma alacsonyan tartja a hamis pozitív arányt, növelve a ROC-t. A Precision-Recall görbék a pozitív osztályra összpontosítanak, és őszintébben mutatják meg a teljesítményt.

Why can a model have a high ROC-AUC but poorly calibrated probability estimates?

The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.