कोहेन का कप्पा

मान लीजिए कि दो व्याख्याकार अधिकांश उदाहरणों पर सहमत हैं। यह आश्वस्त करने वाला लगता है, लेकिन श्रेणी आवृत्तियाँ मायने रखती हैं। यदि दोनों लगभग हमेशा एक ही सामान्य श्रेणी चुनते हैं, तो मामलों में अंतर करने की अधिक क्षमता के बिना बार-बार सहमति उत्पन्न हो सकती है। कोहेन का कप्पा प्रत्येक एनोटेटर के लेबल अनुपात के आधार पर देखे गए समझौते की तुलना अपेक्षित-समझौते की गणना से करता है। सूत्र देखे गए समझौते से अपेक्षित समझौते को घटाता है, फिर एक शून्य अपेक्षित समझौते से विभाजित करता है। यदि देखा गया समझौता 0.8 है और अपेक्षित समझौता 0.5 है, तो कप्पा 0.6 है। ये मान एक उदाहरणात्मक गणना बनाते हैं। जब हर को परिभाषित किया जाता है तो एक का कप्पा पूर्ण सहमति का प्रतिनिधित्व करता है; शून्य का मतलब है कि समझौता आवृत्ति-आधारित अपेक्षा से मेल खाता है। नकारात्मक मान उस अपेक्षा से कम सहमति दर्शाते हैं। अपेक्षित शब्द यह साबित नहीं करता है कि किसी भी व्यक्ति ने यादृच्छिक रूप से अनुमान लगाया है। यह सीमांत लेबल आवृत्तियों से निर्मित एक गणितीय संदर्भ है। उदाहरण के लिए, यदि एक एनोटेटर किसी श्रेणी का 60% समय उपयोग करता है और दूसरा 50% समय का उपयोग करता है, तो वह श्रेणी अपेक्षित समझौते में 0.3 का योगदान देती है। प्रत्येक श्रेणी के लिए योगदान जोड़ें. समान मामलों पर स्वतंत्र रूप से निर्दिष्ट लेबल का उपयोग करें। यदि दूसरा एनोटेटर पहले की प्रतिलिपि बनाता है, तो उनका समझौता स्वतंत्र विश्वसनीयता के बारे में बहुत कम कहता है। निर्देशों को बदलने से पहले असहमति पैटर्न की जांच करें, फिर जहां व्यावहारिक हो वहां नए नमूने पर संशोधित निर्देशों का मूल्यांकन करें। कप्पा श्रेणी की व्यापकता और एनोटेटर्स द्वारा लेबल के उपयोग पर भी निर्भर करता है। कोई सार्वभौमिक रूप से उपयुक्त कटऑफ नहीं है जो डेटासेट को भरोसेमंद बनाता है। स्कोर के साथ नमूना आकार, कच्चा समझौता और समझौता तालिका की रिपोर्ट करें। स्किकिट-लर्न अभारित और भारित गणना प्रदान करता है। भारित कप्पा तब उपयुक्त होता है जब श्रेणी क्रम और विभिन्न आकार की असहमति के परिणामों को स्पष्ट रूप से परिभाषित किया गया हो।