ДалееСледующее руководство
Связывание сущностей и устранение неоднозначности
Языковой ИИ
РУКОВОДСТВО ПО ЯЗЫКУ ИИ
Распознавание именованного объекта
Распознавание именованных объектов, или NER, идентифицирует фрагменты текста, которые относятся к таким категориям, как люди, организации и места.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Он находит упоминания по выбранной схеме. Привязка упоминания к конкретной реальной записи — это отдельная задача привязки сущностей.
Ключевые выводы
- Определите типы и границы диапазона.
- Сохраняйте смещения в исходном тексте.
- Держите распознавание отдельно от установления личности.
Глубокое погружение
Определите типы сущностей и правила диапазона перед обучением или оценкой. Должен ли быть включен суффикс компании? Является ли продукт организацией, отдельным типом или вне схемы? Несогласованные правила аннотаций могут сделать набор данных внутренне противоречивым. Системы NER могут назначать метки уровня токена и объединять соседние токены в интервалы. Токенизация подслов требует осторожности при выравнивании меток с исходным текстом. Сохраняйте смещения символов, чтобы приложения могли точно показать, какой фрагмент привел к извлечению значения. Оцените как границы, так и типы. Идентификация только «Northstar», когда аннотированной организацией является «Northstar Research Labs», может считаться ошибкой диапазона, даже если общая категория верна. Сообщайте о соглашении о сопоставлении с точностью и запоминанием, чтобы можно было интерпретировать результаты. Контекст может изменить метку. «Иордания» может обозначать человека, страну или организацию в разных отрывках. Распознанное имя не является проверенной идентификационной информацией. При использовании извлечения для редактирования, поиска или сопоставления записей проверяйте последующие результаты и явно обрабатывайте неоднозначные или пропущенные упоминания.
04Рабочий пример
Распознайте упоминание, не придумывая идентичность
Используйте придуманное предложение: «Джордан присоединился к исследовательской лаборатории Northstar в июне».
Отметьте Джордана как человека и Northstar Research Labs как организацию, упомянутую в документированной схеме.
Не прикрепляйте конкретную биографию или регистрацию компании, если на отдельном этапе связывания нет доказательств этого совпадения.
Что это показывает
Построенный пример отделяет поиск имени от определения того, кого или что оно идентифицирует.
Реальная реализация
Выделите организации, упомянутые в новостной статье, с помощью оригинальных смещений текста.
Прежде чем утверждать отредактированный документ, создайте очередь проверки возможных имен.
Применение на практике
Почему это важно
- Скорость и масштаб. Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
- Доступ и охват. Это расширяет доступ к различным языкам и стилям общения.
- Более четкие решения. Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Следите за
- Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
- Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
- Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Следующие шаги
- Перед развертыванием определите выходной формат, тон и стандарты качества.
- Наземные ответы с помощью надежных источников, когда точность имеет значение.
- Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
- Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Источники и дальнейшее чтение
- Hugging FaceКлассификация токенов
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Named Entity Recognition quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Доказывает ли нахождение имени, кто этот человек?
Нет. Текстовое упоминание может быть неоднозначным. Решение вопроса о конкретном человеке требует дополнительных доказательств и отдельного процесса привязки.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме