Kvíz spojený s průvodcem · Střední úroveň
Cohenův kvíz Kappa
Prozkoumejte pozorovanou a očekávanou shodu, váženou kappa a spolehlivost anotací prostřednictvím zpracovaných příkladů kategorických štítků.
Otázka 1 z 8
Dva anotátoři zaznamenali shodu 0,8 a očekávanou shodu 0,5. Která hodnota kappa následuje?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Dva anotátoři zaznamenali shodu 0,8 a očekávanou shodu 0,5. Která hodnota kappa následuje?
- 0.3
- 0,4
- 0.8
- 0,6
- One annotator uses a category 60% of the time and the other uses it 50% of the time. How much does that category contribute to expected agreement?
- 0.10
- 0.30
- 0.55
- 1.10
- Proč termín očekávané dohody v kappa nestanoví, že anotátoři hádali náhodně?
- It is calculated from the number of disagreements alone
- It is identical to the observed agreement for every dataset
- It is a reference derived from label frequencies, not an observation of their reasoning
- It assumes every category must have equal frequency
- Proč by si tým mohl vybrat váženou kappa pro nízkou, střední a vysokou závažnost incidentu?
- To give different penalties to one-level and two-level disagreements
- To remove all disagreements from the calculation
- To guarantee a higher reliability score
- To avoid specifying a category order
- Oba anotátoři přiřadí každý případ do stejné jediné kategorie. Proč by obyčejný kappa neměl být hlášen jako přímý úspěch spolehlivosti?
- Perfect raw agreement automatically makes kappa one
- The score ignores the common category and evaluates only disagreements
- Subtracting expected agreement alone gives a complete kappa calculation
- Expected agreement is one, leaving a zero denominator
- Druhý recenzent zkopíruje štítky prvního recenzenta a dosáhne dokonalé shody. Který závěr je oprávněný?
- The labels have been independently validated
- The agreement does not establish independent reliability
- Every label is necessarily correct
- The dataset can be used without checking instructions
- Which accompanying information helps interpret a kappa score when category frequencies are uneven?
- Only the raw agreement percentage, without category counts
- Only whether kappa exceeds a universal cutoff
- Sample size, raw agreement and the agreement table
- Only the weighted score, without specifying category order
- Two annotators both follow a mistaken rule and agree strongly. What does their high kappa fail to establish?
- That their labels are factually correct
- That their observed agreement exceeds its frequency-based expectation
- That they used the same labels on many cases
- That their assignments show consistency under the shared rule