Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Kappa Cohen

Terokai persetujuan yang diperhatikan dan dijangka, kappa berwajaran dan kebolehpercayaan anotasi melalui contoh label kategori yang dikerjakan.

Laluan panduan yang berkaitanCohens Kappa
soalan 1 daripada 8

Dua annotator telah melihat persetujuan sebanyak 0.8 dan jangkaan persetujuan sebanyak 0.5. Nilai kappa yang manakah diikuti?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Dua annotator telah melihat persetujuan sebanyak 0.8 dan jangkaan persetujuan sebanyak 0.5. Nilai kappa yang manakah diikuti?
    • 0.3
    • 0.4
    • 0.8
    • 0.6
  2. Seorang annotator menggunakan kategori 60% daripada masa dan yang lain menggunakannya 50% daripada masa. Berapakah sumbangan kategori itu kepada perjanjian yang dijangkakan?
    • 0.10
    • 0.30
    • 0.55
    • 1.10
  3. Mengapakah jangkaan perjanjian dalam kappa tidak membuktikan bahawa anotasi meneka secara rawak?
    • Ia dikira daripada jumlah perselisihan faham sahaja
    • Ia adalah sama dengan perjanjian yang diperhatikan untuk setiap set data
    • Ia adalah rujukan yang diperoleh daripada frekuensi label, bukan pemerhatian alasan mereka
    • Ia menganggap setiap kategori mesti mempunyai kekerapan yang sama
  4. Untuk keterukan insiden yang rendah, sederhana dan tinggi, mengapakah pasukan boleh memilih kappa berwajaran?
    • Untuk memberikan penalti yang berbeza kepada perselisihan satu peringkat dan dua peringkat
    • Untuk membuang semua perselisihan pendapat daripada pengiraan
    • Untuk menjamin skor kebolehpercayaan yang lebih tinggi
    • Untuk mengelak daripada menentukan susunan kategori
  5. Kedua-dua annotator menetapkan setiap kes kepada kategori tunggal yang sama. Mengapa kappa biasa tidak perlu dilaporkan sebagai kejayaan kebolehpercayaan yang mudah?
    • Perjanjian mentah yang sempurna secara automatik menjadikan kappa satu
    • Skor mengabaikan kategori biasa dan hanya menilai perselisihan pendapat
    • Menolak perjanjian yang dijangkakan sahaja memberikan pengiraan kappa yang lengkap
    • Perjanjian yang dijangkakan adalah satu, meninggalkan penyebut sifar
  6. Pengulas kedua menyalin label pengulas pertama dan mencapai persetujuan yang sempurna. Kesimpulan manakah yang wajar?
    • Label telah disahkan secara bebas
    • Perjanjian itu tidak mewujudkan kebolehpercayaan bebas
    • Setiap label semestinya betul
    • Set data boleh digunakan tanpa menyemak arahan
  7. Maklumat yang manakah yang membantu mentafsir skor kappa apabila frekuensi kategori tidak sekata?
    • Hanya peratusan perjanjian mentah, tanpa kategori dikira
    • Hanya sama ada kappa melebihi cutoff universal
    • Saiz sampel, perjanjian mentah dan jadual perjanjian
    • Hanya skor wajaran, tanpa menyatakan susunan kategori
  8. Dua annotator kedua-duanya mengikut peraturan yang salah dan sangat bersetuju. Apakah yang gagal diwujudkan oleh kappa tinggi mereka?
    • Bahawa label mereka adalah betul
    • Bahawa persetujuan mereka yang diperhatikan melebihi jangkaan berdasarkan kekerapannya
    • Bahawa mereka menggunakan label yang sama pada banyak kes
    • Bahawa tugasan mereka menunjukkan konsistensi di bawah peraturan bersama