Xiga xigaHagaha xiga
Heshiiska Dhexdhexaadiyaha iyo Cohen's Kappa
Farsamo
HAGAHA Farsamada
Cohen's Kappa
Kappa-ga Cohen wuxuu cabbiraa iswaafajinta labada set ee calaamadaha kala duwan ka dib marka la tixgeliyo iswaafajinta la filayo ee ka dhalata daafaha calaamadaha.
Dhageyso hagahanAI-waa laga sheekeeyay · ~3 min
Boggaan3 daqiiqo akhri
Dulmar
Waxay ka caawisaa kooxuhu inay qiimeeyaan joogteynta sharraxaadda, laakiin buundada sare ma caddaynayso in midna tafsiire ahi uu xaqiiqdii sax yahay.
quusid qoto dheer
Ka soo qaad in laba falanqeeye ay ku heshiiyaan tusaalooyinka intooda badan. Taasi waxay u muuqataa wax lagu kalsoonaan karo, laakiin inta jeer ee qaybta ayaa muhiim ah. Haddii labaduba ay had iyo jeer doortaan isla qaybta guud, heshiis joogta ah ayaa soo bixi kara iyada oo aan la helin awood badan oo lagu kala saaro kiisaska. Cohen's kappa wuxuu isbarbar dhigayaa heshiiska la arkay iyo xisaabinta-heshiiska la filayo ee ku salaysan cabbirka calaamadeeyaha kasta. Habkani waxa uu ka jarayaa heshiiska la filayo in lagu heshiiyo, ka dibna waxa loo qaybiyaa hal heshiis laga jaray. Haddii heshiiska la arkay uu yahay 0.8 oo heshiiska la filayo uu yahay 0.5, kappa waa 0.6. Qiimayaashani waxay sameeyaan xisaabin sawireed. Kappa mid ka mid ah wuxuu ka dhigan yahay heshiis qumman marka hooseeyaha la qeexo; eber macneheedu waa heshiis waafaqaya rajada ku salaysan soo noqnoqoshada. Qiimaha taban ayaa tilmaamaya heshiis ka yar kan la filayo. Erayga la filayo ma caddaynayo in labada qof midkood uu si aan kala sooc lahayn u qiyaasay. Waa tixraac xisaabeed oo laga dhisay inta jeer ee calaamadda margin. Tusaale ahaan, haddii hal falanqeeye uu isticmaalo qaybta 60% wakhtiga kan kalena uu isticmaalo 50% wakhtiga, qaybtaasi waxay ku biirinaysaa 0.3 heshiiska la filayo. Ku dar wax ku biirinta qayb kasta Isticmaal calaamado si madaxbanaan loo qoondeeyay isla kiisaska. Haddi qoraaga labaad uu koobiyeeyo kan kowaad, heshiiskoodu wax yar ka odhanayo isku halaynta madaxbanaanida. Hubi qaababka khilaafku ka hor inta aanad bedelin tilmaamaha, ka dibna qiimee tilmaamaha dib loo eegay muunad cusub oo la taaban karo. Kappa sidoo kale waxay kuxirantahay heerka baahsanaanta iyo isticmaalka calaamadeeyayaasha. Ma jiro goyn caalami ah oo ku habboon oo ka dhigaysa xog-ururinta mid la aamini karo. Ka warbixi cabbirka muunadda, heshiiska cayriinka ah iyo miiska heshiiska oo barbar socda dhibcaha. Scikit-learn waxay soo bandhigtaa xisaabin aan miisaan iyo miisaan lahayn. Kappa miisaanka leh waxay ku habboon tahay marka qaybta nidaamka iyo cawaaqibka khilaafyada kala duwan si cad loo qeexay.
Dhaqangelinta Adduunka-dhabta ah
Laba qof ayaa si madaxbanaan u calaamadiya tigidhada taageerada oo la mid ah biilasha ama farsamada. Warbixinta kappa waxay cabbirtaa heshiiskooda iyo dib u eegis khilaafku wuxuu muujinayaa halka tilmaamaha calaamadinta ay u baahan yihiin caddayn.
Muunad mala awaal ah, heshiiska la arkay waa 80% heshiiska la filayona waa 50%. Kappa waa (0.8 laga jaray 0.5) waxaa loo qaybiyaa (1 laga jaray 0.5), ama 0.6.
Dib-u-eegayaashu waxay u xilsaaraan mid hooseeya, dhexdhexaad ama sare leh shilalka. Kappa miisaanka leh ayaa kala saari kara khilaafka hal-heer ah iyo khilaafka u dhexeeya heerarka ugu hooseeya iyo kan ugu sarreeya.
Falanqeeyuhu wuxuu isticmaalaa scikit-learn's cohen_kappa_score ee laba calaamadood oo toosan, ka dibna wuxuu soo tebiyaa qaybta tirinta iyo miiska heshiiska si akhristayaasha ay u fasiraan koobitaanka.
Mustaqbalka Cohen's Kappa
Faahfaahinta AI-caawisay ayaa ka dhigaysa mid aad muhiim u ah in la duubo sida calaamad kasta loo soo saaray. Laba dib-u-eegayaal oo arkay soo jeedin isku mid ah ayaa laga yaabaa inay wadaagaan khalad, xitaa marka heshiiskoodu sarreeyo. Kooxuhu waxay xoojin karaan hanaankooda iyagoo ilaalinaya muunad si madax-bannaan u calaamadsan, xafidaya diiwaanka isbeddelka waxbarashada iyo kala xaajoodka khilaafyada soo noqnoqda ee khubarada domainka. Kappa waxa ay ahaan kartaa qayb ka mid ah dib u eegistaas, iyada oo ay weheliso hubinta jawaabaha tixraaca ee sida wanaagsan loo taageeray. Hadafku waa xog-ururin calaamadaheedu ay leeyihiin macne cad iyo habka dib u eegis la difaaci karo, halkii ay ka ahaan lahaayeen hal lambar oo heshiis oo cajiib ah.
Ku dhaqangelinta
Maxay muhiim u tahay
- Qiimaha iyo miisaaniyada. Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
- Go'aamo cad. Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
- Xakamaynta tayada. Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Iska ilaali
- Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
- Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
- Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Tallaabooyinka xiga
- Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
- Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
- La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
- U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Qaado kediska Cohen's Kappa
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
Waa maxay Cohen's Kappa?
Cohen's kappa wuxuu cabbiraa heshiiska u dhexeeya laba nooc oo calaamado kala duwan ka dib xisaabinta heshiiska laga filayo inta jeer ee calaamadahooda. Waxay ka caawisaa kooxuhu inay qiimeeyaan joogteynta sharraxaadda, laakiin buundada sare ma caddaynayso in midna tafsiire ahi uu xaqiiqdii sax yahay.
Laba falanqeeye ayaa arkay heshiiska 0.8 iyo heshiiska la filayo ee 0.5. Qiime kappa kee ayaa raacaya?
Kappa waa (0.8 laga jaray 0.5) waxaa loo qaybiyaa (1 laga jaray 0.5), taasoo u dhiganta 0.6.
Waa maxay sababta heshiiska la filayo ee kappa uu u caddayn waayay in falanqeeyayaashu ay si aan kala sooc lahayn u qiyaasayeen?
Erayga la filayo waa xariiq xisaabeed oo laga soo dhisay soo noqnoqoshada margin; ma qeexayso habka fikirka dhabta ah ee qorayaasha.
Darnaanta shilka hoose, dhexe iyo sare, maxay kooxdu u dooran kartaa kappa miisaan leh?
Miisaanka ayaa u oggolaanaya dhibcaha inay ka turjumaan masaafada u dhaxaysa qaybaha la dalbaday, waase haddii nidaamka iyo miisaanku ay habboon yihiin.
Labada falanqeeye waxay kiis kasta ku meeleeyaan qayb isku mid ah. Waa maxay sababta kappa caadiga ah aan loogu soo wargelin inay tahay guul la isku halleyn karo oo toos ah?
Hooseeya waa hal laga jaray heshiis la filayo. Marka heshiiska la filayo uu yahay mid, qaacidada caadiga ah waa mid aan la qeexin.
Dib u eegis labaad ayaa koobiyaya summadaha dib u eegista koowaad oo waxa uu gaadhay heshiis qumman. Gabagabo kee baa xaq ah?
Go'aannada la guuriyay ma bixiyaan qiimeyn madax-bannaan, xitaa haddii heshiiskoodu yahay mid sax ah.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan