DalšíDalší průvodce
Testování recall, precision a elusion v revizi dokumentů
Technický
PRŮVODCE Základy
Přesnost a zapamatovatelnost jsou dvě doplňkové metriky pro hodnocení klasifikátorů, zvláště když jsou třídy nevyvážené.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Together they reveal what plain accuracy hides — how often a model's positive predictions are right, and how many real positives it actually catches.
Když model označí položky jako pozitivní, záleží na dvou otázkách. Precision se ptá: kolik ze všeho, co jsme označili, bylo skutečně pozitivní? Rovná se skutečných pozitivních výsledků vydělených všemi předpokládanými pozitivními výsledky, což penalizuje falešné poplachy. Recall (sensitivity) se ptá: ze všech skutečných pozitivních věcí venku, kolik jsme jich chytili? Rovná se skutečným kladům vyděleným všemi skutečnými kladnými hodnotami, což penalizuje vynechání. Ty se obvykle vyměňují: snížení rozhodovacího prahu zachytí více pozitiv (vyšší vyvolání), ale upozorní na více odpadu (nižší přesnost) a naopak. To, co upřednostnit, závisí na nákladech – spamový filtr upřednostňuje přesnost (nevyhazujte skutečnou poštu), zatímco obrazovka rakoviny upřednostňuje stažení (nenechte si ujít nádor). Skóre F1, jejich harmonický průměr, vyrovnává obojí v jednom čísle.
Spamové filtry jsou nastaveny na vysokou přesnost, takže legitimní e-maily nejsou téměř nikdy nesprávně odesílány do složky se spamem.
Lékařské screeningové testy upřednostňují vysokou paměť, aby se předešlo pohřešování pacientů, kteří skutečně mají nemoc, a akceptovali více falešně pozitivních výsledků pro sledování.
Systémy vyhledávání a doporučení hlásí precision@k (kolik z nejlepších k výsledků je relevantních) pro měření kvality hodnocení.
Detekce podvodů vyvažuje přesnost a odvolání prostřednictvím skóre F1, protože falešné poplachy i zmeškané podvody jsou nákladné.
Jak umělá inteligence vstupuje do důležitých oblastí – lékařská diagnostika, moderování obsahu, podvody – týmy stále častěji uvádějí přesnost a vybavování (a jejich křivky) spíše než samotnou přesnost a ladí prahové hodnoty tak, aby odpovídaly reálným nákladům a omezením spravedlnosti. Audity přesnosti/odvolání jednotlivých skupin se stávají standardem pro zjišťování rozdílné chybovosti napříč demografickými údaji. Očekávejte bohatší nákladově citlivé metriky, kalibrované pravděpodobnosti a nástroje, které zúčastněným stranám umožní interaktivně vybírat provozní body, místo aby akceptovali výchozí prahovou hodnotu 0,5.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Přesnost a zapamatovatelnost jsou dvě doplňkové metriky pro hodnocení klasifikátorů, zvláště když jsou třídy nevyvážené. Společně odhalují, co skrývá prostá přesnost – jak často jsou pozitivní předpovědi modelu správné a kolik skutečných pozitiv skutečně zachytí.
Přesnost = TP / (TP + FP) měří správnost pozitivních předpovědí modelu — jak důvěryhodný je pozitivní příznak.
Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.
Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.
Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Testování recall, precision a elusion v revizi dokumentů
Technický