Kuiz berkaitan panduan · Sederhana Tahap
Kuiz Kappa Cohen
Terokai persetujuan yang diperhatikan dan dijangka, kappa berwajaran dan kebolehpercayaan anotasi melalui contoh label kategori yang dikerjakan.
soalan 1 daripada 8
Dua annotator telah melihat persetujuan sebanyak 0.8 dan jangkaan persetujuan sebanyak 0.5. Nilai kappa yang manakah diikuti?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Dua annotator telah melihat persetujuan sebanyak 0.8 dan jangkaan persetujuan sebanyak 0.5. Nilai kappa yang manakah diikuti?
- 0.3
- 0.4
- 0.8
- 0.6
- Seorang annotator menggunakan kategori 60% daripada masa dan yang lain menggunakannya 50% daripada masa. Berapakah sumbangan kategori itu kepada perjanjian yang dijangkakan?
- 0.10
- 0.30
- 0.55
- 1.10
- Mengapakah jangkaan perjanjian dalam kappa tidak membuktikan bahawa anotasi meneka secara rawak?
- Ia dikira daripada jumlah perselisihan faham sahaja
- Ia adalah sama dengan perjanjian yang diperhatikan untuk setiap set data
- Ia adalah rujukan yang diperoleh daripada frekuensi label, bukan pemerhatian alasan mereka
- Ia menganggap setiap kategori mesti mempunyai kekerapan yang sama
- Untuk keterukan insiden yang rendah, sederhana dan tinggi, mengapakah pasukan boleh memilih kappa berwajaran?
- Untuk memberikan penalti yang berbeza kepada perselisihan satu peringkat dan dua peringkat
- Untuk membuang semua perselisihan pendapat daripada pengiraan
- Untuk menjamin skor kebolehpercayaan yang lebih tinggi
- Untuk mengelak daripada menentukan susunan kategori
- Kedua-dua annotator menetapkan setiap kes kepada kategori tunggal yang sama. Mengapa kappa biasa tidak perlu dilaporkan sebagai kejayaan kebolehpercayaan yang mudah?
- Perjanjian mentah yang sempurna secara automatik menjadikan kappa satu
- Skor mengabaikan kategori biasa dan hanya menilai perselisihan pendapat
- Menolak perjanjian yang dijangkakan sahaja memberikan pengiraan kappa yang lengkap
- Perjanjian yang dijangkakan adalah satu, meninggalkan penyebut sifar
- Pengulas kedua menyalin label pengulas pertama dan mencapai persetujuan yang sempurna. Kesimpulan manakah yang wajar?
- Label telah disahkan secara bebas
- Perjanjian itu tidak mewujudkan kebolehpercayaan bebas
- Setiap label semestinya betul
- Set data boleh digunakan tanpa menyemak arahan
- Maklumat yang manakah yang membantu mentafsir skor kappa apabila frekuensi kategori tidak sekata?
- Hanya peratusan perjanjian mentah, tanpa kategori dikira
- Hanya sama ada kappa melebihi cutoff universal
- Saiz sampel, perjanjian mentah dan jadual perjanjian
- Hanya skor wajaran, tanpa menyatakan susunan kategori
- Dua annotator kedua-duanya mengikut peraturan yang salah dan sangat bersetuju. Apakah yang gagal diwujudkan oleh kappa tinggi mereka?
- Bahawa label mereka adalah betul
- Bahawa persetujuan mereka yang diperhatikan melebihi jangkaan berdasarkan kekerapannya
- Bahawa mereka menggunakan label yang sama pada banyak kes
- Bahawa tugasan mereka menunjukkan konsistensi di bawah peraturan bersama