ДалееСледующее руководство
Согласованность между аннотаторами и каппа Коэна
Технический
Техническое РУКОВОДСТВО
Каппа Коэна измеряет согласие между двумя наборами категориальных меток после учета согласия, ожидаемого от частоты их меток.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это помогает командам оценить согласованность аннотаций, но высокий балл не означает, что какой-либо аннотатор фактически прав.
Предположим, два аннотатора согласны по большинству примеров. Это звучит обнадеживающе, но частоты категорий имеют значение. Если оба почти всегда выбирают одну и ту же общую категорию, частое согласие может возникнуть без особой способности различать случаи. Каппа Коэна сравнивает наблюдаемое согласие с расчетом ожидаемого согласия, основанным на пропорциях меток каждого аннотатора. Формула вычитает ожидаемое согласие из наблюдаемого согласия, а затем делит на единицу минус ожидаемое согласие. Если наблюдаемое согласие равно 0,8, а ожидаемое согласие равно 0,5, каппа равна 0,6. Эти значения образуют иллюстративный расчет. Каппа, равная единице, представляет собой полное согласие, когда знаменатель определен; ноль означает, что согласие соответствует ожидаемому результату, основанному на частоте. Отрицательные значения указывают на меньшее согласие, чем ожидалось. Ожидаемый срок не доказывает, что кто-то из участников угадал случайно. Это математическая ссылка, построенная на основе предельных частот меток. Например, если один аннотатор использует категорию 60% времени, а другой — 50% времени, вклад этой категории в ожидаемое согласие составляет 0,3. Добавьте вклады для каждой категории. Используйте независимо назначенные метки для одних и тех же дел. Если второй аннотатор копирует первого, их соглашение мало что говорит о независимой надежности. Прежде чем менять инструкции, изучите модели разногласий, а затем, если это возможно, оцените пересмотренные инструкции на новом образце. Каппа также зависит от распространенности категорий и использования меток аннотаторами. Не существует универсально подходящего порогового значения, которое делало бы набор данных заслуживающим доверия. Сообщите о размере выборки, исходном согласии и таблице согласия вместе с оценкой. Scikit-learn предлагает невзвешенные и взвешенные расчеты. Взвешенная каппа подходит, когда порядок категорий и последствия разногласий разного размера четко определены.
Два человека независимо помечают одни и те же запросы в службу поддержки как платежные или технические. Отчет каппа измеряет их согласие, а анализ разногласий показывает, где инструкции по маркировке нуждаются в разъяснениях.
В гипотетической выборке наблюдаемое согласие составляет 80%, а ожидаемое согласие — 50%. Каппа равна (0,8 минус 0,5), разделенная на (1 минус 0,5), или 0,6.
Рецензенты присваивают инцидентам низкую, среднюю или высокую степень серьезности. Взвешенная каппа может отличить одноуровневое разногласие от разногласий между низшим и высшим уровнями.
Аналитик использует cohen_kappa_score scikit-learn для двух выровненных массивов меток, затем сообщает количество категорий и таблицу согласования, чтобы читатели могли интерпретировать сводку.
Аннотации с помощью искусственного интеллекта делают более важным запись того, как была создана каждая этикетка. Два рецензента, увидевшие одно и то же модельное предложение, могут поделиться ошибкой, даже если их согласие высоко. Команды могут улучшить свой процесс, сохраняя образец с независимой маркировкой, ведя учет изменений инструкций и обсуждая повторяющиеся разногласия с экспертами в предметной области. Каппа может оставаться частью этого обзора наряду с проверкой хорошо обоснованных справочных ответов. Целью является набор данных, метки которого имеют четкое значение и оправданный процесс проверки, а не один впечатляющий номер соглашения.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Каппа Коэна измеряет согласие между двумя наборами категориальных меток после учета согласия, ожидаемого от частоты их меток. Это помогает командам оценить согласованность аннотаций, но высокий балл не означает, что какой-либо аннотатор фактически прав.
Каппа равна (0,8 минус 0,5), разделенная на (1 минус 0,5), что равно 0,6.
Ожидаемый член представляет собой математическую базовую линию, построенную на основе предельных частот; он не описывает реальный мыслительный процесс аннотаторов.
Веса позволяют оценке отражать расстояние между упорядоченными категориями при условии, что порядок и вес являются подходящими.
Знаменатель равен единице минус ожидаемое согласие. Когда ожидаемое согласие равно единице, обычная формула не определена.
Скопированные решения не дают независимой оценки, даже если их численное совпадение идеальное.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Согласованность между аннотаторами и каппа Коэна
Технический