Up tókànItọsọna atẹle
Recall, Precision and Elusion Testing in Document Review
Imọ-ẹrọ
Awọn ipilẹ Itọsọna
Konge ati ÌRÁNTÍ
Itọkasi ati iranti jẹ awọn metiriki ibaramu meji fun ṣiṣe iṣiro awọn kilasika, paapaa nigbati awọn kilasi ko ba dọgbadọgba.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Papọ wọn ṣafihan ohun ti deede ti o han gbangba pamọ — igba melo ni awọn asọtẹlẹ rere ti awoṣe jẹ ẹtọ, ati iye awọn rere gidi ti o mu gangan.
Jin Dive
Nigbati awoṣe ba ṣe asia awọn ohun kan bi rere, awọn ibeere meji ṣe pataki. Konge béèrè: ti ohun gbogbo ti a ti asia, Elo ni iwongba ti rere? O dọgba awọn idaniloju otitọ ti o pin nipasẹ gbogbo awọn idaniloju asọtẹlẹ, ijiya awọn itaniji eke. ÌRÁNTÍ (ifamọ) béèrè: ti gbogbo awọn gidi rere jade nibẹ, melo ni a mu? O dọgba awọn idaniloju otitọ ti o pin nipasẹ gbogbo awọn idaniloju gangan, ijiya awọn ipadanu. Iwọnyi maa n ṣowo ni pipa: sisọ ẹnu-ọna ipinnu mu awọn idaniloju diẹ sii (ipeti ti o ga julọ) ṣugbọn awọn asia diẹ sii ijekuje (konge kekere), ati ni idakeji. Ewo ni lati ṣe pataki da lori awọn idiyele - àlẹmọ àwúrúju ṣe itẹwọgba konge (ma ṣe idọti meeli gidi), lakoko ti o ṣe iranti iboju alakan kan (maṣe padanu tumọ). Dimegilio F1, itumọ ibaramu wọn, iwọntunwọnsi mejeeji ni nọmba kan.
Real-World imuse
Awọn àwúrúju àwúrúju tune fun konge giga nitoribẹẹ awọn apamọ ti o tọ ni a ko fi ranṣẹ rara ni aṣiṣe si folda àwúrúju naa.
Awọn idanwo ibojuwo iṣoogun ṣe pataki iranti iranti giga lati yago fun awọn alaisan ti o padanu ti o ni arun na, gbigba awọn idaniloju eke diẹ sii fun atẹle.
Awọn ọna ṣiṣe wiwa ati iṣeduro ṣe ijabọ precision@k (melo ninu awọn abajade k oke ni o wulo) lati wiwọn didara ipo.
Wiwa ẹtan jẹ iwọntunwọnsi konge ati iranti nipasẹ Dimegilio F1, niwọn igba ti awọn itaniji eke mejeeji ati ẹtan ti o padanu jẹ idiyele.
Ojo iwaju ti konge ati ÌRÁNTÍ
Bi AI ti n wọ awọn ibugbe ti o ga julọ - ayẹwo iṣoogun, iwọntunwọnsi akoonu, ẹtan - awọn ẹgbẹ n ṣe ijabọ konge ati iranti (ati awọn iyipo wọn) dipo deede nikan, ati tune awọn ala lati baamu awọn idiyele gidi-aye ati awọn idiwọ ododo. Awọn iṣayẹwo deede/awọn iṣayẹwo iranti ti ẹgbẹ kan ti di idiwọn fun wiwa awọn oṣuwọn aṣiṣe aiṣedeede kọja awọn ẹda eniyan. Reti awọn metiriki iye owo ti o ni imọra, awọn iṣeeṣe iwọnwọn, ati irinṣẹ irinṣẹ ti o jẹ ki awọn ti o nii ṣe mu awọn aaye iṣẹ ni ibaraenisepo ju gbigba gbigba ala 0.5 aiyipada kan.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Awọn ipinnu diẹ sii. O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
- Iye owo ati isuna. O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
- Ẹgbẹ ati ṣiṣan iṣẹ. Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ṣọra fun
- Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
- Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
- Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Next awọn igbesẹ
- Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
- Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
- Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
- Iwe ibi ti konge ati ÌRÁNTÍ ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Precision and Recall quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini deede ati iranti?
Itọkasi ati iranti jẹ awọn metiriki ibaramu meji fun ṣiṣe iṣiro awọn kilasika, paapaa nigbati awọn kilasi ko ba dọgbadọgba. Papọ wọn ṣafihan kini deede deede pamọ - melo ni awọn asọtẹlẹ rere awoṣe kan jẹ ẹtọ, ati iye awọn idaniloju gidi ti o mu nitootọ.
Ibeere wo ni o dahun ni pipe?
Precision = TP / (TP + FP) ṣe iwọn deede ti awọn asọtẹlẹ rere awoṣe - bawo ni asia rere ṣe jẹ igbẹkẹle.
On a fixed evaluation set, lowering a positive-class decision threshold usually produces which tradeoff?
Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.
Why can precision and recall reveal a weakness hidden by high accuracy on a dataset dominated by negatives?
Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.
Six of the top ten search results are relevant. What is precision@10 for that result list?
Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii