ДалееСледующее руководство
LegalBench и оценка ИИ для решения юридических задач
Технический
Техническое РУКОВОДСТВО
CUAD — это аннотированный экспертами набор данных для НЛП проверки контрактов, а не полное представление всех соглашений или юридических вопросов.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Его этикетки ориентированы на 41 тип статей в 510 коммерческих контрактах; Результаты тестов измеряют эффективность выполнения этой задачи и распределения, а не способность системы применять юриспруденцию.
Набор данных Atticus для понимания контрактов (CUAD) был создан для исследования обработки естественного языка при проверке контрактов. Проект Atticus описывает версию 1 как 510 коммерческих контрактов с более чем 13 000 подписей под контролем экспертов, охватывающих 41 тип статей, считающихся важными в корпоративных сделках, включая слияния и поглощения. Набор данных был принят в NeurIPS 2021 года и выпущен по лицензии, указанной на странице проекта. Проверка условий CUAD как поиск или классификация фрагментов текста контракта. Он может поддерживать исследования по обнаружению, извлечению предложений и связанным с ними методам, но метки представляют выбранные категории и варианты аннотаций. Высокая оценка не означает, что система понимает каждое юридическое взаимодействие, что она хорошо работает с другими совокупностями контрактов или что ее выходные данные готовы к транзакции. Стили контрактов, юрисдикции, языки, определения пунктов, качество сканирования и поправки могут отличаться от набора данных. Перед использованием CUAD проверьте его версию, лицензию, определение задачи, раздельный дизайн и руководство по этикеткам. Избегайте утечек между обучающими и тестовыми примерами, в которых используются общие шаблоны или связанные документы. Оцените отдельные соглашения, отражающие предполагаемое использование, проверьте ложные срабатывания и пропущенные положения, а также попросите юристов оценить, сохраняют ли извлеченные диапазоны исключения и контекст. CUAD — это исследовательский эталон, а не юридическая консультация, сертификация модели или одобрение автоматизированной проверки контрактов. Инструкции по аннотациям и решения также определяют то, что считается правильным диапазоном, поэтому оценка должна соответствовать точному определению задачи набора данных.
Исследователь оценивает модель поиска предложений по аннотированным диапазонам CUAD.
Рецензент проверяет, переносится ли эталонный результат из коммерческих контрактов в новый тип контракта.
Прежде чем разрабатывать модель проверки контракта, группа изучает, какие метки статей представлены.
Специалист по данным отделяет примеры разработки от отложенных контрактов на оценку.
В будущих тестах контрактов могут быть добавлены типы документов, языки и более широкие возможности взаимодействия пунктов. Такое расширение может улучшить охват, но не станет эталоном, эквивалентным юридической практике. Команды должны проверять соответствие текущим соглашениям и привлекать экспертов к определению и проверке результатов. Новые наборы данных могут расширить типы контрактов или взаимосвязь между положениями модели, однако развертывание по-прежнему требует оценки конкретной цели. Сравните результаты с реальными соглашениями и бизнес-решениями по объему и не позволяйте модели незаметно превращать эталонные ярлыки в юридические заключения.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
CUAD — это аннотированный экспертами набор данных для НЛП проверки контрактов, а не полное представление всех соглашений или юридических вопросов. Его этикетки ориентированы на 41 тип статей в 510 коммерческих контрактах; Результаты тестов измеряют эффективность выполнения этой задачи и распределения, а не способность системы применять юриспруденцию.
В проекте описываются его размер, маркировка, категории статей и экспертный надзор.
В статье CUAD представлен как набор данных, аннотированный экспертами, для NLP проверки контрактов.
Оценка теста ограничена набором данных, задачей и протоколом оценки.
Перекрытие шаблонов или связанных документов может привести к разрыву между обучением и оценкой.
Различные типы контрактов и юрисдикции могут изменять язык и требования к задачам.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
LegalBench и оценка ИИ для решения юридических задач
Технический