LegközelebbKövetkező útmutató
Visszahívás (Recall), Pontosság (Precision) és Kikerülési (Elusion) Tesztelés a Dokumentum-felülvizsgálatban
Műszaki
Alapok ÚTMUTATÓ
A pontosság és az előhívás két egymást kiegészítő mérőszám az osztályozók értékeléséhez, különösen akkor, ha az osztályok kiegyensúlyozatlanok.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Együtt feltárják, mit rejt el a tiszta pontosság — milyen gyakran vannak helyesek egy modell pozitív előrejelzései, és hány valódi pozitívumot talál meg valójában.
Amikor egy modell pozitívként jelöli meg az elemeket, két kérdés számít. A Precision azt kérdezi: mindabból, amit megjelöltünk, mennyi volt az igazán pozitív? Ez egyenlő a valódi pozitív értékek osztva az összes előrejelzett pozitív értékkel, ami bünteti a téves riasztásokat. A visszahívás (érzékenység) azt kérdezi: az összes valódi pozitívum közül hányat fogtunk ki? Ez egyenlő a valódi pozitívumok osztva az összes tényleges pozitív értékkel, ami bünteti a kihagyásokat. Ezek általában megegyeznek: a döntési küszöb csökkentése több pozitívumot (magasabb visszahívást) fog ki, de több szemetet jelez (alacsonyabb pontosság), és fordítva. A költségektől függ, hogy melyiket kell előnyben részesíteni – a spamszűrő a precizitást részesíti előnyben (ne dobja kukába a valódi leveleket), míg a rákszűrés a visszahívást (ne hagyja ki a daganatot). Az F1 pontszám, harmonikus átlaguk mindkettőt egy számban egyensúlyozza.
A levélszemétszűrők nagy pontosságúra hangolódnak, így a jogos e-mailek szinte soha nem kerülnek tévesen a spam mappába.
Az orvosi szűrővizsgálatok prioritásként kezelik a magas visszahívást, hogy elkerüljék a ténylegesen betegségben szenvedő betegek hiányát, és több hamis pozitív eredményt fogadjanak el a nyomon követésre.
A keresési és ajánlási rendszerek a precision@k jelentést jelentik (az első k találat közül hány releváns) a rangsor minőségének mérésére.
A csalásészlelés egyensúlyba hozza a pontosságot és a visszahívást az F1-es pontszámon keresztül, mivel mind a téves riasztások, mind az elmulasztott csalások költségesek.
Ahogy a mesterséges intelligencia belép a nagy téttel bíró területekre – orvosi diagnózis, tartalom moderálása, csalás –, a csapatok egyre gyakrabban számolnak be a pontosságról és a visszahívásról (és görbéikről), nem pedig a pontosságról, és a küszöbértékeket a valós költségekhez és a méltányossági korlátokhoz igazítják. A csoportonkénti precíziós/visszahívási auditok szabványossá válnak a demográfiai csoportok közötti eltérő hibaarányok kimutatására. Gazdagabb költségérzékeny mérőszámokra, kalibrált valószínűségekre és olyan eszközökre számíthat, amelyek lehetővé teszik az érdekeltek számára, hogy interaktív módon válasszák ki a működési pontokat az alapértelmezett 0,5-ös küszöb elfogadása helyett.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A pontosság és az előhívás két egymást kiegészítő mérőszám az osztályozók értékeléséhez, különösen akkor, ha az osztályok kiegyensúlyozatlanok. Együtt felfedik, mit rejt az egyszerű pontosság – milyen gyakran igazak a modell pozitív előrejelzései, és mennyi valós pozitívumot ragad meg valójában.
A pontosság = TP / (TP + FP) a modell pozitív előrejelzéseinek helyességét méri – mennyire megbízható a pozitív jelző.
Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.
Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.
Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Visszahívás (Recall), Pontosság (Precision) és Kikerülési (Elusion) Tesztelés a Dokumentum-felülvizsgálatban
Műszaki