InayofuataMwongozo unaofuata
Usahihi wa Wastani na PR-AUC
Kiufundi
MUONGOZO wa Misingi
ROC Curves na AUC
Mzunguko wa ROC hupanga jinsi kiainishi hutenganisha vyema madarasa mawili katika kila kizingiti cha uamuzi kinachowezekana, na AUC inabana msafara huo wote kuwa nambari moja.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Together they tell you ranking quality independent of where you draw the cutoff.
Dive ya kina
Mviringo wa Sifa ya Uendeshaji ya Kipokeaji (ROC) hupanga Kiwango Chanya cha Kweli (unyeti, kwenye mhimili y) dhidi ya Kiwango cha Uongo Chanya (maalum 1, kwenye mhimili wa x) unapotelezesha kiwango cha juu cha uainishaji kutoka 1 hadi 0. Kila kizingiti kinatoa pointi moja; kuziunganisha hufuata mkunjo. Muundo unaoorodhesha kila chanya juu ya kila hasi hukumbatia kona ya juu kushoto. Eneo la Chini ya Mviringo (AUC) hupima jumla ya eneo chini ya mstari huu, kuanzia 0.5 (kubahatisha bila mpangilio, ulalo) hadi 1.0 (kamili). Ufafanuzi unaofaa: AUC ni sawa na uwezekano kwamba muundo hupata alama chanya iliyochaguliwa nasibu zaidi kuliko hasi iliyochaguliwa nasibu. Neno hili linatokana na waendeshaji rada wa Vita vya Kidunia vya pili kutofautisha ishara kutoka kwa kelele.
Utekelezaji wa Ulimwengu Halisi
Kulinganisha miundo miwili ya ugunduzi wa ulaghai kwa benki na AUC yao ili kuchagua ile inayoorodhesha vyema miamala ya ulaghai juu ya ile halali.
Kutathmini uchunguzi wa uchunguzi wa ugonjwa (k.m., kitengo cha uchunguzi wa saratani) ambapo wataalamu wa radiolojia wanahitaji kubadilishana kupata kesi zaidi dhidi ya kengele za uwongo.
Kurekebisha kizingiti cha kichujio cha barua taka kwa kutumia curve ya ROC kuweka chanya za uwongo (barua halali iliyoalamishwa kama barua taka) chini sana.
Kulinganisha muundo wa bao chaguomsingi wa mkopo ambapo AUC inatoa muhtasari wa jinsi inavyotenganisha wakopaji ambao hulipa kutoka kwa wale ambao hawajalipa.
Mustakabali wa ROC Curves na AUC
ROC-AUC inasalia kuwa kipimo chaguo-msingi cha kuripoti, lakini wataalamu wanazidi kuioanisha na curve za Precision-Recall kwa data isiyo na usawaziko, ambapo ROC inaweza kuonekana kuwa na matumaini kwa njia ya udanganyifu. Tarajia kupitishwa kwa sehemu kubwa kwa AUC (ikizingatia eneo la hali ya chini-chanya ambalo ni muhimu kiutendaji), uchanganuzi nyeti wa gharama na wa uamuzi, na kuripoti kwa AUC kwa kila kikundi kwa mapengo ya usawa. Miundo inapolisha maamuzi halisi, vipimo vya urekebishaji na AUC vitazidi kuripotiwa bega kwa bega badala ya AUC pekee.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Maamuzi ya wazi zaidi. Inakusaidia kutenganisha madai ya wazi ya kiufundi kutoka kwa lugha ya uuzaji.
- Gharama na bajeti. Unaweza kuuliza maswali ya utekelezaji bora kabla ya kutumia pesa au wakati.
- Timu na mtiririko wa kazi. Timu zenye uelewa wa pamoja hufanya maamuzi bora ya bidhaa, sera na mafunzo.
Jihadharini na
- Timu tofauti zinaweza kutumia neno moja tofauti, kwa hivyo fafanua upeo mapema.
- Vigezo vinaweza kuonekana kuwa na nguvu ilhali utendakazi wa ulimwengu halisi haufanani.
- Kupuuza ubora wa data na mipango ya tathmini mara nyingi huleta matokeo tete.
Hatua zinazofuata
- Anza na ufafanuzi wa lugha rahisi wa matokeo unayohitaji.
- Chagua kipimo kimoja cha mafanikio na hali moja ya kutofaulu kabla ya kujaribu.
- Tekeleza majaribio madogo yenye data wakilishi, si seti ya onyesho iliyoboreshwa.
- Hati ambapo ROC Curves na AUC husaidia na ambapo mbinu rahisi ni bora zaidi.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the ROC Curves and AUC quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is ROC Curves and AUC?
Mzunguko wa ROC hupanga jinsi kiainishi hutenganisha vyema madarasa mawili katika kila kizingiti cha uamuzi kinachowezekana, na AUC inabana msafara huo wote kuwa nambari moja. Kwa pamoja wanakuambia ubora wa kupanga bila kutegemea mahali unapochora mkato.
Je, ROC inapanga njama gani dhidi ya kila mmoja?
Mbero wa ROC hupanga Kiwango Chanya cha Kweli (unyeti) kwenye mhimili wa y dhidi ya Kiwango Chanya cha Uongo (1 - umaalum) kwenye mhimili wa x kwenye vizingiti.
Ni thamani gani ya AUC inalingana na kiainishaji ambacho hakifanyi kazi bora kuliko kubahatisha bila mpangilio?
Kiainishi cha nasibu hufuata mstari wa ulalo, na kutoa AUC ya 0.5. AUC ya 1.0 ni kamili, na 0.0 inamaanisha inapata kila nafasi nyuma haswa.
Kwa nini AUC inaelezewa kama 'kizingiti-huru'?
AUC ni muhtasari wa safu nzima ya ROC, ambayo hutolewa kwa kufagia kila kizingiti, kwa hivyo haitegemei mkato wowote uliochaguliwa.
Kwa mkusanyiko wa data usio na usawa, ni curve ipi inayopendekezwa mara nyingi kando au badala ya ROC kwa sababu ROC inaweza kuonekana kuwa na matumaini kupita kiasi?
Juu ya matatizo chanya nadra idadi kubwa ya hasi za kweli huweka Kiwango cha Uongo cha Uongo, na kuongeza ROC. Mikondo ya Precision-Recall inalenga darasa chanya na kufichua utendaji kwa uaminifu zaidi.
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii