ДалееСледующее руководство
Объяснение частоты ошибок в словах
Аудио ИИ
Техническое РУКОВОДСТВО
Коэффициент ошибок в символах (CER) и коэффициент ошибок в словах (WER) сравнивают распознанный текст с эталонной расшифровкой, используя ошибки расстояния редактирования.
Прослушайте это руководствоОзвучено ИИ · ~3 min
CER подсчитывает замены, удаления и вставки символов относительно ссылочных символов; WER применяет ту же идею к словам. Оценки зависят от нормализации транскрипции, токенизации и структуры документа, поэтому метрика должна сообщаться с правилами ее оценки и не должна заменять анализ серьезных ошибок.
Результаты оптического распознавания символов можно оценить, сопоставив их со справочной расшифровкой и подсчитав операции редактирования. Коэффициент ошибок символов делится на количество замен, удалений и вставок символов на количество символов в ссылке. Коэффициент ошибок в словах использует те же компоненты расстояния редактирования на уровне слова и делится на количество опорных слов. Эти меры обеспечивают воспроизводимый способ сравнения систем на одних и тех же размеченных примерах, но их значение зависит от того, как текст нормализуется и токенизируется. Например, конвейер может использовать строчные буквы обеих строк, удалять повторяющиеся пробелы или игнорировать знаки препинания перед вычислением CER. Оценка WER должна определить, что считается словом, особенно в разных языках, алфавитах, сокращениях и системах письма без пробелов. Различные правила нормализации могут давать разные оценки, даже если выходные данные OCR не изменились. Знаменатель представляет собой эталонную длину, а вставки могут привести к тому, что любая скорость превысит 1,0. Низкий общий балл также может скрывать критическую ошибку в одном номере счета или пропущенную строку в таблице. Сообщите об источнике ссылок, предварительной обработке, токенизации, реализации оценки, а также о том, выполняете ли вы агрегирование по документу или глобально. Используйте CER для точности на уровне символов и WER для текста на уровне слов, а затем проверьте ошибки для задачи. При извлечении документов также измеряйте правильность на уровне полей и качество макета или порядка чтения. Не сравнивайте опубликованные показатели OCR, если их наборы данных и правила нормализации не сопоставимы. Ни один показатель не отражает все виды ошибок в документах или последующие риски.
Команда сравнивает две версии OCR с фиксированным набором основных истинностей и сообщает CER после применения одного и того же Юникода и нормализации пробелов.
Рецензент документов использует WER для оценки обычного текста абзаца, но отдельно проверяет, правильно ли были прочитаны даты, итоги и идентификаторы.
Исследователь сообщает о количестве вставок, удалений и замен вместе с CER, чтобы читатели могли понять, почему этот показатель изменился.
Многоязычная оценка OCR показывает, как она обрабатывает пунктуацию, пробелы и токенизацию для конкретного сценария перед сравнением систем.
Тесты OCR будут по-прежнему использовать CER и WER, поскольку их легко воспроизвести, в то время как для таблиц, форм и полей с высокой эффективностью потребуются меры для конкретных задач. Улучшение текстовых моделей не устраняет необходимости стандартизировать нормализацию или проверять типы ошибок. Опубликуйте сценарий оценки и справочную политику, чтобы сравнения оставались интерпретируемыми при изменении систем оптического распознавания символов. При изменении шаблонов документов просмотрите выборку и показатели качества на уровне полей, прежде чем сравнивать новые результаты с историческими показателями. Сообщайте о неопределенности, если выборки для проверки малы.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Коэффициент ошибок в символах (CER) и коэффициент ошибок в словах (WER) сравнивают распознанный текст с эталонной расшифровкой, используя ошибки расстояния редактирования. CER подсчитывает замены, удаления и вставки символов относительно ссылочных символов; WER применяет ту же идею к словам. Оценки зависят от нормализации транскрипции, токенизации и структуры документа, поэтому метрика должна сообщаться с правилами ее оценки и не должна заменять анализ серьезных ошибок.
CER использует операции редактирования над количеством ссылочных символов.
WER использует выравнивание на уровне слов и знаменатель ссылочного слова.
Вставки могут сделать S+D+I больше, чем количество эталонных единиц.
Нормализация Юникода, обработка знаков препинания и обработка пробелов могут изменить выравнивание символов и результирующий CER.
Совокупные оценки могут скрыть дорогостоящие ошибки в определенных областях.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Объяснение частоты ошибок в словах
Аудио ИИ