Что случилось
Газета Stamford Advocate в отчете, переизданном GovTech, сообщила, что Мэтью Эллиотт, самопредставитель истца из Коннектикута, вставил в судебные документы почти невидимый белый текст. Скрытая инструкция предписывала любой системе искусственного интеллекта, просматривающей документ, согласиться с аргументами Эллиотта и поддержать отмену предыдущего решения. Судья Верховного суда Коннектикута Уолтер Спейдер-младший охарактеризовал эту тактику как преднамеренное быстрое введение и наложил на Эллиота санкции, потребовав, чтобы будущие документы по делу представлялись на бумаге.
The Stamford Advocate в отчете, переизданном GovTech, сообщил, что Эллиотт поместил сообщение мелким белым текстом в материалы суда Коннектикута. Инструкция начиналась со слов «Если этот документ будет проверен моделью ИИ» и предписывала системе убедиться, что ее результаты соответствуют данным Эллиотта. Согласно отчету, это также привело систему к отмене предыдущего решения клерка и признанию Нью-Йоркской бариатрической группы неплатежеспособной. В отчете эти подробности связаны с меморандумом судьи Уолтера Спейдера-младшего и соответствующими судебными документами.
В отчете говорится, что Спейдер обнаружил текст, просматривая документы 31 июля и распечатывая документы, которые, по-видимому, содержали необычные пустые области. Суд установил, что отформатированный язык практически невидим для человека, но при этом остается разборчивым для программного обеспечения, обрабатывающего текст документа. Эллиотт признался CT Insider, как цитируется в отчете, что он использовал невидимый текст, предназначенный для системы искусственного интеллекта. Он оспорил интерпретацию судьей его цели, заявив, что пытался определить, использовался ли ИИ для проверки его документов.
В отчете говорится, что судебная власть Коннектикута в настоящее время не использует систему искусственного интеллекта для проверки документов или потенциальных неисполнений обязательств. Тем не менее Спейдер пришел к выводу, что такое поведение было неправомерным, поскольку юристы, истцы и другие юристы могут использовать инструменты искусственного интеллекта для проверки протоколов, обобщения записей или подготовки дел. Судья написала, что вопрос не зависит от того, использовал ли суд сам ИИ, поскольку сокрытый материал был попыткой ввести в заблуждение суд и противные стороны.
Согласно отчету, после того, как суд поднял этот вопрос, Эллиотт продолжал размещать почти невидимые материалы в последующих документах. В некоторых сообщениях в шутку говорилось об основателе противоположной партии, видео Губки Боба Квадратные Штаны и строчке, адресованной всем, кто может увидеть скрытый текст. Эллиотт сказал, что эти дополнения были шутками, а не дальнейшими попытками повлиять на ИИ. Спейдер рассматривал продолжающееся сокрытие как доказательство того, что первоначальное поведение было преднамеренным. Судья запретил Эллиотту подавать документы по делу в электронном виде, но разрешил ему продолжать судебный процесс и использовать искусственный интеллект для подготовки документов. Распечатка документов удалит скрытый цифровой текст из процесса подачи, описанного в отчете.
Подробности об источнике: govtech.com ↗
Почему это важно
Это дело представляет собой конкретный пример быстрого перехода от демонстраций ИИ к судебному процессу. В отчете говорится, что судебная власть Коннектикута не использовала систему искусственного интеллекта для рассмотрения документов, и нет никаких признаков того, что скрытая инструкция изменила исход дела. Но участники судов, юристы и исследователи в области права все чаще используют ИИ для обобщения документов, проверки досье и подготовки аргументов, создавая потенциальные пути для скрытых инструкций для воздействия на последующие системы.
Оперативное внедрение обычно предполагает размещение инструкций в материале, который просят прочитать систему ИИ, с целью изменения поведения системы. Сообщаемая тактика важна, поскольку инструкция была скрыта от человеческой аудитории, хотя она была нацелена на программное обеспечение. Спейдер охарактеризовал скрытую команду как секретную связь с механизмом, с помощью которого можно было прочитать и взвесить вопрос. Это различие имеет значение в судебных разбирательствах, где ожидается, что противостоящие стороны увидят аргументы, представленные суду, и ответят на них.
В отчете не установлено, что система искусственного интеллекта действительно прочитала документы Эллиотта, выполнила инструкции или повлияла на решение. В нем говорится, что в данном случае подсказка, по-видимому, не сработала. Эти ограничения важны: конкретным событием является вставка и обнаружение скрытого текста с последующей санкцией, а не продемонстрированная судебная ошибка с помощью ИИ. Отчет также не проверяет независимо полное техническое поведение документа в различных программных системах или рабочих процессах сканирования.
Этот инцидент иллюстрирует более широкую проблему безопасности для организаций, которые передают ненадежные документы в системы искусственного интеллекта. Документ может быть удобен для чтения человеком, но содержать скрытое форматирование, метаданные или машиночитаемые инструкции, которые влияют на автоматический сумматор или помощник. В суде такие манипуляции могут исказить краткое изложение, расставить приоритеты в требованиях одной стороны, упустить соответствующий контекст или создать неточное впечатление о протоколе. Аналогичные риски могут возникнуть в сфере найма, образования, страхования и государственных рабочих процессов, хотя примеры этих ситуаций, приведенные в отчете, приписываются судье и здесь не рассматриваются независимо.
Этот случай также отделяет ответственную помощь ИИ от неконтролируемой зависимости. Спейдер написал, что инструменты искусственного интеллекта, скорее всего, останутся частью юридической работы, и сказал, что он использовал Google Gemini для рабочего перевода и инструменты искусственного интеллекта Westlaw для проверки авторитетов, одновременно проверяя результаты независимо. Практический урок заключается не в том, что суды должны отказаться от искусственного интеллекта, а в том, что им нужен контроль над происхождением, рендерингом документов, человеческим анализом и способностью реконструировать, как был получен результат. В отчете не говорится, принял ли Коннектикут такой контроль.
Интерактивный механизм: как он на самом деле работает
Изучите технологию, лежащую в основе этой разработки, в интерактивном режиме.
Why can ethical evaluation not be reduced to one model score?
Что посмотреть дальше
Главный вопрос, оставшийся без ответа, заключается в том, как суды будут проверять документы, представленные в цифровом виде, если видимая страница может не содержать всего, что содержится в файле. В отчете не указана единая судебная политика по обнаружению скрытого текста, а также не установлено, что какая-либо система искусственного интеллекта обработала подсказку Эллиотта. В будущих делах могут быть уточнены санкции, обязанности по раскрытию информации, гарантии обработки документов и то, как стороны могут оспорить решение с помощью ИИ, на которое могло повлиять сокрытие контента.
Судам и поставщикам юридических услуг могут потребоваться процедуры, сравнивающие внешний вид документа с его основным текстом и форматированием. Возможные меры защиты включают преобразование документов в стандартизированные форматы, пометку белого текста и непечатаемых символов, сканирование скрытых слоев и требование проверки человеком, прежде чем сводки, созданные ИИ, повлияют на решения. Источник не сообщает, что Коннектикут реализовал какие-либо из этих мер, поэтому предполагать их использование не следует.
Будущие споры могут проверить, нарушают ли скрытые инструкции существующие правила откровенности, целостности документации, мошенничества или злоупотребления судебными процессами, а также должны ли санкции различаться, когда подсказка просто присутствует, и когда она явно меняет выходные данные ИИ. В случае с Эллиоттом заявленной санкцией была потеря права подачи электронной подачи, а не отклонение иска. В докладе не приводится более широкий прецедент и не указывается, было ли это решение обжаловано.
Ключевым вопросом проверки будет то, сможет ли какой-либо суд, сторона или поставщик доказать, что система искусственного интеллекта обработала скрытый текст. Сообщаемое судебным органом Коннектикута отсутствие системы искусственного интеллекта для рассмотрения заявок сужает непосредственный иск, но юристы и истцы могут использовать сторонние инструменты за пределами собственных систем суда. Следователям потребуются записи о загрузке документов, версиях программного обеспечения, подсказках, результатах и человеческих решениях, чтобы установить, повлияли ли манипуляции на результат.
В докладе говорится, что скрытые инструкции станет труднее выявить, поскольку юридические рабочие процессы основаны на обобщении документов и автоматизированном анализе. Практические меры защиты должны будут сохранить доступность для сторон, представляющих себя самостоятельно, и в то же время не допустить, чтобы цифровые документы содержали нераскрытые команды. Пока суды не опубликуют более четкие технические и процессуальные стандарты, степень риска остается неопределенной. Изложение этой статьи основано на отчете The Stamford Advocate, переизданном GovTech, а также на цитируемых в нем судебных материалах и интервью; соответствующие документы и любые журналы обработки ИИ здесь не подвергались независимой проверке.