Műszaki ÚTMUTATÓ

Átlagos pontosság és PR-AUC

Az átlagos precizitás összegzi a modell pontosságát, ahogy a visszahívás a döntési küszöbökön át nő.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az átlagos precizitás és a PR-AUC jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A precíziós-visszahívási görbék akkor hasznosak, ha ritkák a pozitív esetek, de az átlagos pontosság és a görbe alatti trapézfelület más számítások, amelyeket egyértelműen meg kell nevezni.

Mély merülés

A Precision azt kérdezi, hogy hány kiválasztott eset pozitív. A Recall megkérdezi, hogy az összes pozitív eset közül hányat választottak ki. Ahogy egy modell pontszámának küszöbe csökken, több eset kerül be a kiválasztott halmazba. A visszahívás nem csökkenhet a küszöbérték csökkenésével, de a pontosság növekedhet vagy csökkenhet az újonnan bevont esetektől függően. Egy precíziós visszahívási görbe követi ezt a kompromisszumot. Különösen informatív egy ritka pozitív osztály esetében, mert közvetlenül megmutatja, hogy hány kiválasztott elem téves riasztás. A vevő működési jelleggörbéje egy másik kérdésre válaszol a hamis pozitív arány használatával, amelynek nevezője az összes tényleges negatívot tartalmazza. Egyik nézet sem szünteti meg a valódi döntési költségek figyelembevételének szükségességét. Az átlagos precizitás összegzi a pontosság-visszahívás összefüggést úgy, hogy a pontossági értékeket súlyozza a felhívás megfelelő növekedésével. Egy egyszerű, holtverseny nélküli rangsorban a pozitív esetek által elfoglalt rangok átlagos pontosságával egyenlő. Tegyük fel, hogy csak a két pozitív jelenik meg először és a harmadikban. A pontosság ezeken a pozíciókon egy és kétharmad, tehát az átlagos pontosság körülbelül 0,833. A PR-AUC címke kétértelmű lehet. Egyes jelentések a pontosság trapéz alakú integrációját jelentik a visszahívás ellen; mások lazán használják az átlagos pontosság érdekében. A Scikit-learn megkülönbözteti az átlagos_pontossági pontszámot az auc-tól, amely a trapéz szabályt alkalmazza. Ezek az értékek eltérőek lehetnek, mivel az interpolációs feltételezések eltérőek. Adja meg a tényleges számítást! A pontosság a pozitívumok előfordulási gyakoriságától függ az értékelő populációban. A kiegyensúlyozott mintából származó pontszám nem feltétlenül ír le olyan telepítési beállítást, ahol ritkák a pozitívumok. Jelentse a pozitív törtet és az értékelési tervet. Végül, a küszöbértékek összefoglalása nem választ működési küszöböt. Ellenőrizze a pontosságot, a visszahívást és a munkaterhelést azon a ponton, ahol a modellt ténylegesen használni fogják.

Valós megvalósítás

Az áttekintési sor sok közönséges elemet és néhány releváns elemet tartalmaz. A precíziós visszahívási görbe azt mutatja, hogy milyen kompromisszum van aközött, hogy megtaláljuk a relevánsabb elemeket, és felkérjük a bírálókat, hogy vizsgálják meg a relevánsabb elemeket.

Egy hipotetikus rangsorban, ahol nincsenek egyenlő pontszámok, a két pozitív eset az első és a harmadik helyen szerepel. A pontosság ezeken a pozíciókon 1 és kétharmad, tehát az átlagos pontosság körülbelül 0,833.

Egy csapat a scikit-learn átlagos_pontossági pontszámát használja a címkéken és az előrejelzési pontszámokon. Rögzíti, hogy melyik osztály számít pozitívnak, és elkerüli, hogy az értékelés előtt nehéz döntésekkel helyettesítsék a pontszámokat.

Két értékelési adatkészlet eltérő arányban tartalmazza a pozitív eseteket. Az elemző beszámol ezekről az arányokról, mielőtt összehasonlítaná a precíziós visszahívási eredményeket, mivel a prevalencia megváltoztatja a pontosság értelmezésének módját.

Az átlagos precizitás és a PR-AUC jövője

Az értékelő irányítópultok áttekinthetőbbé tehetik a rangsorolási mutatókat azáltal, hogy az összesítő pontszám mellett megjelenítik a pozitív előfordulást, a pontos területszámítást és a gyakorlati működési pontokat. Egy áttekintő csoportnak leginkább az számíthat, hogy egy rögzített napi kapacitáson belül hány hasznos eset jelenik meg, míg egy másik csapatnak minimális visszahívásra lehet szüksége. Az előrejelzések és címkék megőrzése lehetővé teszi, hogy a kérdéseket a modell megváltoztatása nélkül újra meg lehessen tekinteni. A populációk eltolódásával a csapatoknak újra kell értékelniük a reprezentatív adatok kompromisszumát, ahelyett, hogy azt feltételeznék, hogy egy korábbi átlagos pontosságú eredmény ugyanazt a jövőbeni munkaterhelést vagy hasznosságot garantálja.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Average Precision and PR-AUC quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az átlagos pontosság és a PR-AUC?

Az átlagos precizitás összegzi a modell pontosságát, ahogy a visszahívás a döntési küszöbökön át nő. A precíziós-visszahívási görbék akkor hasznosak, ha ritkák a pozitív esetek, de az átlagos pontosság és a görbe alatti trapézfelület más számítások, amelyeket egyértelműen meg kell nevezni.

Melyik mennyiséget méri a precízió egy kiválasztott ellenőrzési sornál?

A precizitás méri a kiválasztott készlet tisztaságát; A visszahívás az összes talált pozitív rész arányát méri.

A döntetlen pontok nélküli rangsorban az egyetlen pozitívum az első és a harmadik. Melyik átlagos pontosság következik?

A pontosság az első pozitívnál egy, a másodiknál ​​kétharmad. Átlaguk öthatod, megközelítőleg 0,833.

Miért térhet el a trapéz PR-AUC az átlagos pontosságtól?

Az átlagos pontosság a pontosságot a visszahívási lépésekkel súlyozza, míg a trapézintegráció a görbepontokat más területkonstrukcióval köti össze.

Mely bemenetek őrzik meg az átlagos pontossághoz szükséges rangsorolási információkat?

A pontszámok lehetővé teszik a küszöbértékek közötti értékelést. A nehéz döntések csak egy munkapontot tartanak meg, és elvetik a legtöbb rangsorolási információt.

Két adatkészlet pozitív osztályú prevalenciája nagyon eltérő. Mi kísérje a precíziós felidézési pontszámok összehasonlítását?

A pontosság az osztályok elterjedtségétől függ, ezért a populációk és a mintavételi sémák szükségesek.