Alapok ÚTMUTATÓ

Pontosság és visszahívás

A pontosság és az előhívás két egymást kiegészítő mérőszám az osztályozók értékeléséhez, különösen akkor, ha az osztályok kiegyensúlyozatlanok.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A pontosság és visszahívás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Együtt feltárják, mit rejt el a tiszta pontosság — milyen gyakran vannak helyesek egy modell pozitív előrejelzései, és hány valódi pozitívumot talál meg valójában.

Mély merülés

Amikor egy modell pozitívként jelöli meg az elemeket, két kérdés számít. A Precision azt kérdezi: mindabból, amit megjelöltünk, mennyi volt az igazán pozitív? Ez egyenlő a valódi pozitív értékek osztva az összes előrejelzett pozitív értékkel, ami bünteti a téves riasztásokat. A visszahívás (érzékenység) azt kérdezi: az összes valódi pozitívum közül hányat fogtunk ki? Ez egyenlő a valódi pozitívumok osztva az összes tényleges pozitív értékkel, ami bünteti a kihagyásokat. Ezek általában megegyeznek: a döntési küszöb csökkentése több pozitívumot (magasabb visszahívást) fog ki, de több szemetet jelez (alacsonyabb pontosság), és fordítva. A költségektől függ, hogy melyiket kell előnyben részesíteni – a spamszűrő a precizitást részesíti előnyben (ne dobja kukába a valódi leveleket), míg a rákszűrés a visszahívást (ne hagyja ki a daganatot). Az F1 pontszám, harmonikus átlaguk mindkettőt egy számban egyensúlyozza.

Valós megvalósítás

A levélszemétszűrők nagy pontosságúra hangolódnak, így a jogos e-mailek szinte soha nem kerülnek tévesen a spam mappába.

Az orvosi szűrővizsgálatok prioritásként kezelik a magas visszahívást, hogy elkerüljék a ténylegesen betegségben szenvedő betegek hiányát, és több hamis pozitív eredményt fogadjanak el a nyomon követésre.

A keresési és ajánlási rendszerek a precision@k jelentést jelentik (az első k találat közül hány releváns) a rangsor minőségének mérésére.

A csalásészlelés egyensúlyba hozza a pontosságot és a visszahívást az F1-es pontszámon keresztül, mivel mind a téves riasztások, mind az elmulasztott csalások költségesek.

A pontosság és visszahívás jövője

Ahogy a mesterséges intelligencia belép a nagy téttel bíró területekre – orvosi diagnózis, tartalom moderálása, csalás –, a csapatok egyre gyakrabban számolnak be a pontosságról és a visszahívásról (és görbéikről), nem pedig a pontosságról, és a küszöbértékeket a valós költségekhez és a méltányossági korlátokhoz igazítják. A csoportonkénti precíziós/visszahívási auditok szabványossá válnak a demográfiai csoportok közötti eltérő hibaarányok kimutatására. Gazdagabb költségérzékeny mérőszámokra, kalibrált valószínűségekre és olyan eszközökre számíthat, amelyek lehetővé teszik az érdekeltek számára, hogy interaktív módon válasszák ki a működési pontokat az alapértelmezett 0,5-ös küszöb elfogadása helyett.

A gyakorlatba ültetés

Miért számít

  • Tisztább döntések. Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől.
  • Költség és költségvetés. Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene.
  • Csapat és munkafolyamat. A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban.

Vigyázz

  • A különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört.
  • A benchmarkok erősnek tűnhetnek, miközben a valós teljesítmény egyenetlen.
  • Az adatminőségi és értékelési tervek figyelmen kívül hagyása gyakran törékeny eredményekhez vezet.

Következő lépések

  1. Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával.
  2. A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt.
  3. Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel.
  4. Dokumentálja, ahol a Precision and Recall segít, és hol jobbak az egyszerűbb módszerek.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Precision and Recall quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a Pontosság és Visszaemlékezés?

A pontosság és az előhívás két egymást kiegészítő mérőszám az osztályozók értékeléséhez, különösen akkor, ha az osztályok kiegyensúlyozatlanok. Együtt felfedik, mit rejt az egyszerű pontosság – milyen gyakran igazak a modell pozitív előrejelzései, és mennyi valós pozitívumot ragad meg valójában.

Melyik kérdésre ad választ a pontosság?

A pontosság = TP / (TP + FP) a modell pozitív előrejelzéseinek helyességét méri – mennyire megbízható a pozitív jelző.

On a fixed evaluation set, lowering a positive-class decision threshold usually produces which tradeoff?

Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.

Why can precision and recall reveal a weakness hidden by high accuracy on a dataset dominated by negatives?

Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.

Six of the top ten search results are relevant. What is precision@10 for that result list?

Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.