InayofuataMwongozo unaofuata
Recall, Precision and Elusion Testing in Document Review
Kiufundi
MUONGOZO wa Misingi
Usahihi na Kukumbuka
Usahihi na kukumbuka ni vipimo viwili vya ziada vya kutathmini viainishi, hasa wakati madarasa hayana usawa.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Together they reveal what plain accuracy hides — how often a model's positive predictions are right, and how many real positives it actually catches.
Dive ya kina
Wakati mfano unaashiria vitu kuwa vyema, maswali mawili ni muhimu. Precision inauliza: kati ya kila kitu tulichoalamisha, ni kiasi gani kilikuwa chanya kweli? Inalingana na chanya za kweli zilizogawanywa na chanya zote zilizotabiriwa, ikiadhibu kengele za uwongo. Recall (sensitivity) inauliza: kati ya chanya zote za kweli huko nje, ni ngapi tulishika? Ni sawa na chanya za kweli zilizogawanywa na chanya zote halisi, kuadhibu makosa. Hizi kwa kawaida hubadilishana: kupunguza kiwango cha uamuzi hupata chanya zaidi (kumbukumbu ya juu) lakini huripoti takataka zaidi (usahihi wa chini), na kinyume chake. Ambayo ya kuyapa kipaumbele inategemea gharama - kichujio cha barua taka kinapendelea usahihi (usitupe barua pepe halisi), huku skrini ya saratani ikipendelea kumbukumbu (usikose uvimbe). Alama ya F1, maana yao ya usawa, inasawazisha zote kwa nambari moja.
Utekelezaji wa Ulimwengu Halisi
Vichungi vya barua taka hutengeneza kwa usahihi wa hali ya juu ili barua pepe halali zisitumwe kimakosa kwenye folda ya barua taka.
Vipimo vya uchunguzi wa kimatibabu vinatanguliza kumbukumbu ya hali ya juu ili kuzuia kukosa wagonjwa ambao wana ugonjwa huo, kukubali chanya zaidi za uwongo kwa ufuatiliaji.
Mifumo ya utafutaji na mapendekezo inaripoti precision@k (ni kiasi gani cha matokeo ya k bora yanafaa) ili kupima ubora wa nafasi.
Ugunduzi wa ulaghai husawazisha usahihi na kukumbuka kupitia alama ya F1, kwa kuwa kengele za uwongo na ulaghai uliokosa ni ghali.
Mustakabali wa Usahihi na Kukumbuka
AI inapoingia katika vikoa vya hatari kubwa - utambuzi wa matibabu, udhibiti wa maudhui, ulaghai - timu zinazidi kuripoti usahihi na kukumbuka (na miingo yao) badala ya usahihi pekee, na kurekebisha vizingiti ili kulingana na gharama za ulimwengu halisi na vikwazo vya haki. Ukaguzi wa usahihi/kumbuka kwa kila kikundi unazidi kuwa kawaida katika kugundua viwango vya makosa tofauti katika idadi ya watu. Tarajia vipimo bora vinavyogharamiwa, uwezekano uliorekebishwa na utumiaji wa zana unaowaruhusu washikadau kuchagua pointi za uendeshaji kwa maingiliano badala ya kukubali kiwango cha juu kabisa cha 0.5.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Maamuzi ya wazi zaidi. Inakusaidia kutenganisha madai ya wazi ya kiufundi kutoka kwa lugha ya uuzaji.
- Gharama na bajeti. Unaweza kuuliza maswali ya utekelezaji bora kabla ya kutumia pesa au wakati.
- Timu na mtiririko wa kazi. Timu zenye uelewa wa pamoja hufanya maamuzi bora ya bidhaa, sera na mafunzo.
Jihadharini na
- Timu tofauti zinaweza kutumia neno moja tofauti, kwa hivyo fafanua upeo mapema.
- Vigezo vinaweza kuonekana kuwa na nguvu ilhali utendakazi wa ulimwengu halisi haufanani.
- Kupuuza ubora wa data na mipango ya tathmini mara nyingi huleta matokeo tete.
Hatua zinazofuata
- Anza na ufafanuzi wa lugha rahisi wa matokeo unayohitaji.
- Chagua kipimo kimoja cha mafanikio na hali moja ya kutofaulu kabla ya kujaribu.
- Tekeleza majaribio madogo yenye data wakilishi, si seti ya onyesho iliyoboreshwa.
- Hati ambapo Usahihi na Kukumbuka husaidia na ambapo mbinu rahisi ni bora zaidi.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Precision and Recall quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Precision and Recall?
Usahihi na kukumbuka ni vipimo viwili vya ziada vya kutathmini viainishi, haswa wakati madarasa hayana usawa. Kwa pamoja hufichua usahihi wa dhahiri unaoficha - ni mara ngapi utabiri chanya wa modeli ni sahihi, na ni chanya ngapi halisi ambazo hupata.
Usahihi hujibu swali gani?
Usahihi = TP / (TP + FP) hupima usahihi wa ubashiri chanya wa modeli - jinsi bendera chanya inavyoaminika.
On a fixed evaluation set, lowering a positive-class decision threshold usually produces which tradeoff?
Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.
Why can precision and recall reveal a weakness hidden by high accuracy on a dataset dominated by negatives?
Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.
Six of the top ten search results are relevant. What is precision@10 for that result list?
Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii