Викторина, связанная с руководством · Средний Уровень

Каппа-викторина Коэна

Изучите наблюдаемое и ожидаемое согласие, взвешенную каппу и надежность аннотаций на проработанных примерах категориальных меток.

Связанные направляющие путиКоэнс Каппа
Вопрос 1 из 8

Два комментатора наблюдали согласие 0,8 и ожидаемое согласие 0,5. Какое значение каппы следует за этим?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Два комментатора наблюдали согласие 0,8 и ожидаемое согласие 0,5. Какое значение каппы следует за этим?
    • 0,3
    • 0,4
    • 0,8
    • 0,6
  2. Один аннотатор использует категорию в 60 % случаев, а другой — в 50 % времени. Насколько эта категория способствует ожидаемому согласию?
    • 0,10
    • 0,30
    • 0,55
    • 1.10
  3. Почему термин «ожидаемое согласие» в каппе не указывает на то, что аннотаторы догадывались случайным образом?
    • Он рассчитывается только на основе количества разногласий.
    • Оно идентично наблюдаемому соглашению для каждого набора данных.
    • Это ссылка, полученная на основе частот ярлыков, а не наблюдение за их рассуждениями.
    • Предполагается, что каждая категория должна иметь одинаковую частоту
  4. Почему команда может выбрать взвешенную каппу для инцидентов низкой, средней и высокой степени тяжести?
    • Предусмотреть разные штрафы за одноуровневые и двухуровневые разногласия.
    • Убрать все разногласия из расчета
    • Чтобы гарантировать более высокий показатель надежности
    • Чтобы не указывать порядок категорий
  5. Оба аннотатора относят каждый случай к одной и той же категории. Почему бы об обычной каппе не говорить как о простом успехе в надежности?
    • Идеальное сырое согласие автоматически делает каппу единой.
    • Оценка игнорирует общую категорию и оценивает только разногласия.
    • Вычитание ожидаемого согласия дает полный расчет каппы.
    • Ожидаемое согласие равно единице, а знаменатель равен нулю.
  6. Второй рецензент копирует этикетки первого рецензента и достигает идеального согласия. Какой вывод обоснован?
    • Этикетки прошли независимую проверку.
    • Соглашение не устанавливает независимую надежность
    • Каждая этикетка обязательно правильная
    • Набор данных можно использовать без проверки инструкций.
  7. Какая сопутствующая информация помогает интерпретировать показатель каппа, когда частота категорий неравномерна?
    • Только необработанный процент согласия, без учета категорий.
    • Только если каппа превышает универсальный предел
    • Размер выборки, исходное соглашение и таблица согласия
    • Только взвешенная оценка, без указания порядка категорий.
  8. Два комментатора следуют ошибочному правилу и полностью согласны с ним. Чего не может установить их высокая каппа?
    • Что их этикетки на самом деле верны
    • Что их наблюдаемое согласие превышает ожидания, основанные на частоте
    • Что они использовали одни и те же ярлыки во многих случаях.
    • Что их назначения демонстрируют последовательность в соответствии с общим правилом.