СледваСледващо ръководство
Recall, Precision and Elusion Testing in Document Review
технически
РЪКОВОДСТВО по основи
Прецизност и припомняне
Прецизността и припомнянето са два допълващи се показателя за оценка на класификаторите, особено когато класовете са небалансирани.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Together they reveal what plain accuracy hides — how often a model's positive predictions are right, and how many real positives it actually catches.
Дълбоко гмуркане
Когато модел маркира елементи като положителни, два въпроса са от значение. Прецизността пита: от всичко, което маркирахме, колко беше наистина положително? Той се равнява на истинските положителни резултати, разделени на всички прогнозирани положителни резултати, наказвайки фалшивите аларми. Припомнянето (чувствителността) пита: от всички реални позитиви там, колко сме уловили? Равнява се на истинските положителни резултати, разделени на всички действителни положителни резултати, наказващи пропуските. Те обикновено са компромис: понижаването на прага за вземане на решение улавя повече положителни резултати (по-високо запомняне), но маркира повече боклуци (по-ниска прецизност) и обратно. Кое да се приоритизира зависи от разходите – филтърът за нежелана поща предпочита прецизността (не изхвърляйте истинската поща), докато екранът за рак предпочита извикването (не пропускайте тумор). Резултатът F1, тяхната хармонична средна стойност, балансира и двете в едно число.
Внедряване в реалния свят
Филтрите за нежелана поща се настройват за висока прецизност, така че законните имейли почти никога не се изпращат погрешно в папката за спам.
Медицинските скринингови тестове дават приоритет на високото припомняне, за да се избегне пропускането на пациенти, които действително имат заболяването, приемайки повече фалшиви положителни резултати за проследяване.
Системите за търсене и препоръки отчитат precision@k (колко от първите k резултати са подходящи), за да се измери качеството на класирането.
Откриването на измами балансира прецизността и припомнянето чрез оценка F1, тъй като както фалшивите аларми, така и пропуснатите измами са скъпи.
Бъдещето на прецизността и припомнянето
Тъй като AI навлиза в области с високи залози – медицинска диагностика, модериране на съдържание, измами – екипите все повече докладват за прецизност и припомняне (и техните криви), а не само за точност, и настройват праговете, за да съответстват на разходите в реалния свят и ограниченията за справедливост. Одитите на прецизност/изземване на група се превръщат в стандарт за откриване на различни нива на грешки в демографските групи. Очаквайте по-богати показатели, чувствителни към разходите, калибрирани вероятности и инструменти, които позволяват на заинтересованите страни да избират работни точки интерактивно, вместо да приемат праг по подразбиране от 0,5.
Прилагайки го на практика
Защо има значение
- По-ясни решения. Помага ви да отделите ясните технически твърдения от маркетинговия език.
- Разходи и бюджет. Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
- Екип и работен процес. Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Внимавайте за
- Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
- Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
- Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Следващи стъпки
- Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
- Изберете един показател за успех и едно условие за неуспех преди тестване.
- Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
- Документирайте къде прецизността и припомнянето помагат и къде по-простите методи са по-добри.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Precision and Recall quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is Precision and Recall?
Прецизността и припомнянето са два допълващи се показателя за оценка на класификаторите, особено когато класовете са небалансирани. Заедно те разкриват какво крие обикновената точност - колко често положителните прогнози на даден модел са верни и колко реални положителни резултати той всъщност улавя.
На кой въпрос отговаря прецизността?
Прецизност = TP / (TP + FP) измерва коректността на положителните прогнози на модела — колко надежден е положителният флаг.
При фиксиран набор за оценка, понижаването на прага за вземане на решение за положителен клас обикновено води до какъв компромис?
Намаляването на прага разширява или запазва прогнозирания положителен набор. Може да улови допълнителни истински положителни резултати и допълнителни фалшиви положителни резултати; промените зависят от това кои елементи преминават прага.
Защо прецизността и припомнянето могат да разкрият слабост, скрита от високата точност на набор от данни, доминиран от негативи?
Точността може да бъде доминирана от правилни отрицателни прогнози. Прецизността и припомнянето изследват положителните флагове и пропуснатите положителни резултати с помощта на TP, FP и FN.
Шест от първите десет резултата от търсенето са подходящи. Какво е precision@10 за този списък с резултати?
Precision@10 измерва съответната фракция сред първите десет резултата: 6/10 = 60%.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема