Викторина, связанная с руководством · Средний Уровень
Каппа-викторина Коэна
Изучите наблюдаемое и ожидаемое согласие, взвешенную каппу и надежность аннотаций на проработанных примерах категориальных меток.
Вопрос 1 из 8
Два комментатора наблюдали согласие 0,8 и ожидаемое согласие 0,5. Какое значение каппы следует за этим?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Два комментатора наблюдали согласие 0,8 и ожидаемое согласие 0,5. Какое значение каппы следует за этим?
- 0,3
- 0,4
- 0,8
- 0,6
- Один аннотатор использует категорию в 60 % случаев, а другой — в 50 % времени. Насколько эта категория способствует ожидаемому согласию?
- 0,10
- 0,30
- 0,55
- 1.10
- Почему термин «ожидаемое согласие» в каппе не указывает на то, что аннотаторы догадывались случайным образом?
- Он рассчитывается только на основе количества разногласий.
- Оно идентично наблюдаемому соглашению для каждого набора данных.
- Это ссылка, полученная на основе частот ярлыков, а не наблюдение за их рассуждениями.
- Предполагается, что каждая категория должна иметь одинаковую частоту
- Почему команда может выбрать взвешенную каппу для инцидентов низкой, средней и высокой степени тяжести?
- Предусмотреть разные штрафы за одноуровневые и двухуровневые разногласия.
- Убрать все разногласия из расчета
- Чтобы гарантировать более высокий показатель надежности
- Чтобы не указывать порядок категорий
- Оба аннотатора относят каждый случай к одной и той же категории. Почему бы об обычной каппе не говорить как о простом успехе в надежности?
- Идеальное сырое согласие автоматически делает каппу единой.
- Оценка игнорирует общую категорию и оценивает только разногласия.
- Вычитание ожидаемого согласия дает полный расчет каппы.
- Ожидаемое согласие равно единице, а знаменатель равен нулю.
- Второй рецензент копирует этикетки первого рецензента и достигает идеального согласия. Какой вывод обоснован?
- Этикетки прошли независимую проверку.
- Соглашение не устанавливает независимую надежность
- Каждая этикетка обязательно правильная
- Набор данных можно использовать без проверки инструкций.
- Какая сопутствующая информация помогает интерпретировать показатель каппа, когда частота категорий неравномерна?
- Только необработанный процент согласия, без учета категорий.
- Только если каппа превышает универсальный предел
- Размер выборки, исходное соглашение и таблица согласия
- Только взвешенная оценка, без указания порядка категорий.
- Два комментатора следуют ошибочному правилу и полностью согласны с ним. Чего не может установить их высокая каппа?
- Что их этикетки на самом деле верны
- Что их наблюдаемое согласие превышает ожидания, основанные на частоте
- Что они использовали одни и те же ярлыки во многих случаях.
- Что их назначения демонстрируют последовательность в соответствии с общим правилом.