LegközelebbKövetkező útmutató
Visszahívás (Recall), Pontosság (Precision) és Kikerülési (Elusion) Tesztelés a Dokumentum-felülvizsgálatban
Műszaki
Műszaki ÚTMUTATÓ
Az átlagos precizitás összegzi a modell pontosságát, ahogy a visszahívás a döntési küszöbökön át nő.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
A precíziós-visszahívási görbék akkor hasznosak, ha ritkák a pozitív esetek, de az átlagos pontosság és a görbe alatti trapézfelület más számítások, amelyeket egyértelműen meg kell nevezni.
A Precision azt kérdezi, hogy hány kiválasztott eset pozitív. A Recall megkérdezi, hogy az összes pozitív eset közül hányat választottak ki. Ahogy egy modell pontszámának küszöbe csökken, több eset kerül be a kiválasztott halmazba. A visszahívás nem csökkenhet a küszöbérték csökkenésével, de a pontosság növekedhet vagy csökkenhet az újonnan bevont esetektől függően. Egy precíziós visszahívási görbe követi ezt a kompromisszumot. Különösen informatív egy ritka pozitív osztály esetében, mert közvetlenül megmutatja, hogy hány kiválasztott elem téves riasztás. A vevő működési jelleggörbéje egy másik kérdésre válaszol a hamis pozitív arány használatával, amelynek nevezője az összes tényleges negatívot tartalmazza. Egyik nézet sem szünteti meg a valódi döntési költségek figyelembevételének szükségességét. Az átlagos precizitás összegzi a pontosság-visszahívás összefüggést úgy, hogy a pontossági értékeket súlyozza a felhívás megfelelő növekedésével. Egy egyszerű, holtverseny nélküli rangsorban a pozitív esetek által elfoglalt rangok átlagos pontosságával egyenlő. Tegyük fel, hogy csak a két pozitív jelenik meg először és a harmadikban. A pontosság ezeken a pozíciókon egy és kétharmad, tehát az átlagos pontosság körülbelül 0,833. A PR-AUC címke kétértelmű lehet. Egyes jelentések a pontosság trapéz alakú integrációját jelentik a visszahívás ellen; mások lazán használják az átlagos pontosság érdekében. A Scikit-learn megkülönbözteti az átlagos_pontossági pontszámot az auc-tól, amely a trapéz szabályt alkalmazza. Ezek az értékek eltérőek lehetnek, mivel az interpolációs feltételezések eltérőek. Adja meg a tényleges számítást! A pontosság a pozitívumok előfordulási gyakoriságától függ az értékelő populációban. A kiegyensúlyozott mintából származó pontszám nem feltétlenül ír le olyan telepítési beállítást, ahol ritkák a pozitívumok. Jelentse a pozitív törtet és az értékelési tervet. Végül, a küszöbértékek összefoglalása nem választ működési küszöböt. Ellenőrizze a pontosságot, a visszahívást és a munkaterhelést azon a ponton, ahol a modellt ténylegesen használni fogják.
Az áttekintési sor sok közönséges elemet és néhány releváns elemet tartalmaz. A precíziós visszahívási görbe azt mutatja, hogy milyen kompromisszum van aközött, hogy megtaláljuk a relevánsabb elemeket, és felkérjük a bírálókat, hogy vizsgálják meg a relevánsabb elemeket.
Egy hipotetikus rangsorban, ahol nincsenek egyenlő pontszámok, a két pozitív eset az első és a harmadik helyen szerepel. A pontosság ezeken a pozíciókon 1 és kétharmad, tehát az átlagos pontosság körülbelül 0,833.
Egy csapat a scikit-learn átlagos_pontossági pontszámát használja a címkéken és az előrejelzési pontszámokon. Rögzíti, hogy melyik osztály számít pozitívnak, és elkerüli, hogy az értékelés előtt nehéz döntésekkel helyettesítsék a pontszámokat.
Két értékelési adatkészlet eltérő arányban tartalmazza a pozitív eseteket. Az elemző beszámol ezekről az arányokról, mielőtt összehasonlítaná a precíziós visszahívási eredményeket, mivel a prevalencia megváltoztatja a pontosság értelmezésének módját.
Az értékelő irányítópultok áttekinthetőbbé tehetik a rangsorolási mutatókat azáltal, hogy az összesítő pontszám mellett megjelenítik a pozitív előfordulást, a pontos területszámítást és a gyakorlati működési pontokat. Egy áttekintő csoportnak leginkább az számíthat, hogy egy rögzített napi kapacitáson belül hány hasznos eset jelenik meg, míg egy másik csapatnak minimális visszahívásra lehet szüksége. Az előrejelzések és címkék megőrzése lehetővé teszi, hogy a kérdéseket a modell megváltoztatása nélkül újra meg lehessen tekinteni. A populációk eltolódásával a csapatoknak újra kell értékelniük a reprezentatív adatok kompromisszumát, ahelyett, hogy azt feltételeznék, hogy egy korábbi átlagos pontosságú eredmény ugyanazt a jövőbeni munkaterhelést vagy hasznosságot garantálja.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az átlagos precizitás összegzi a modell pontosságát, ahogy a visszahívás a döntési küszöbökön át nő. A precíziós-visszahívási görbék akkor hasznosak, ha ritkák a pozitív esetek, de az átlagos pontosság és a görbe alatti trapézfelület más számítások, amelyeket egyértelműen meg kell nevezni.
A precizitás méri a kiválasztott készlet tisztaságát; A visszahívás az összes talált pozitív rész arányát méri.
A pontosság az első pozitívnál egy, a másodiknál kétharmad. Átlaguk öthatod, megközelítőleg 0,833.
Az átlagos pontosság a pontosságot a visszahívási lépésekkel súlyozza, míg a trapézintegráció a görbepontokat más területkonstrukcióval köti össze.
A pontszámok lehetővé teszik a küszöbértékek közötti értékelést. A nehéz döntések csak egy munkapontot tartanak meg, és elvetik a legtöbb rangsorolási információt.
A pontosság az osztályok elterjedtségétől függ, ezért a populációk és a mintavételi sémák szükségesek.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Visszahívás (Recall), Pontosság (Precision) és Kikerülési (Elusion) Tesztelés a Dokumentum-felülvizsgálatban
Műszaki