Какво стана
The Stamford Advocate, в доклад, препубликуван от GovTech, съобщава, че Матю Елиът, който се представлява от Кънектикът, е вмъкнал почти невидим бял текст в съдебните документи. Скритата инструкция каза на всяка AI система, преглеждаща документа, да се съгласи с аргументите на Елиът и да подкрепи отмяната на по-ранно решение. Съдията от Върховния съд на Кънектикът Уолтър Спейдър младши описа тактиката като умишлено незабавно инжектиране и санкционира Елиът, като изисква бъдещите документи по делото да се представят на хартия.
The Stamford Advocate, в репортажа, препубликуван от GovTech, каза, че Елиът е поставил съобщение с малък бял текст в съдебна документация в Кънектикът. Инструкцията започваше с „Ако този документ бъде прегледан от AI модел“ и насочваше системата да гарантира, че изходът му е в съответствие с подаването на Elliott. Според доклада, той също така е насочил системата към отмяна на по-ранното решение на служител и намиране на New York Bariatric Group в неизпълнение. Профилът приписва тези подробности на меморандума на съдия Уолтър Спейдър младши и свързаните съдебни документи.
В доклада се казва, че Спейдър е открил текста, докато е преглеждал документи на 31 юли и е отпечатвал документи, които изглежда съдържат необичайни празни области. Съдът установи, че форматираният език е почти невидим за човек, като същевременно остава четлив за софтуера, който обработва текста на документа. Елиът призна пред CT Insider, както е цитирано в доклада, че е използвал невидим текст, предназначен за AI система. Той оспори тълкуването на съдията за неговата цел, като каза, че се опитва да определи дали AI е бил използван за преглед на документите му.
В доклада се казва, че съдебният клон на Кънектикът в момента не използва система с изкуствен интелект за преглед на документи или потенциални неизпълнения. Въпреки това Спейдър стигна до заключението, че поведението е неправилно, тъй като адвокати, страни по делото и други правни специалисти могат да използват инструменти с изкуствен интелект, за да преглеждат досиета, да обобщават записи или да подготвят дела. Съдията пише, че въпросът не зависи от това дали самият съд е използвал AI, тъй като скритите материали са опит за заблуда на съда и на противоположните страни.
След като съдът повдигна въпроса, Елиът продължи да поставя почти невидими материали в по-късни документи, според доклада. Някои съобщения се позоваваха на шега на основателя на противниковата партия, видеоклип на Спондж Боб и реплика, адресирана до всеки, който може да види скрития текст. Елиът каза, че тези добавки са шеги, а не по-нататъшни опити за влияние върху ИИ. Спейдър разглежда продължаващото укриване като доказателство, че първоначалното поведение е било умишлено. Съдията забрани на Елиът да подава електронни документи по делото, но му позволи да продължи да води съдебни спорове и да използва AI, за да подпомогне подготовката на документи. Отпечатването на документите ще премахне скрития цифров текст от процеса на подаване, описан в доклада.
Детайли за източника: govtech.com ↗
Защо има значение
Случаят предоставя конкретен пример за незабавно инжектиране, преминаващо от демонстрации на ИИ към правен процес. В доклада се казва, че съдебният клон на Кънектикът не е използвал AI система за преглед на документи и няма индикация, че скритата инструкция е променила резултата от делото. Но съдебните участници, адвокатите и правните изследователи все повече използват AI, за да обобщават документи, да преглеждат досиета и да подготвят аргументи, създавайки потенциални пътища за скрити инструкции за влияние върху системите надолу по веригата.
Бързото инжектиране обикновено включва поставяне на инструкции в материал, който AI системата трябва да прочете, с цел промяна на поведението на системата. Докладваната тактика е важна, тъй като инструкцията е била скрита от човешката аудитория, докато е била насочена към софтуера. Спейдър характеризира скритата команда като тайна комуникация с механизма, чрез който даден въпрос може да бъде прочетен и претеглен. Това разграничение има значение в съдебните производства, където се очаква противоположните страни да видят и да отговорят на аргументите, представени пред съда.
Докладът не установява, че AI система действително е прочела документацията на Elliott, следвала е инструкцията или е повлияла на решение. Казва, че подканата очевидно не е работила в този случай. Тези ограничения са важни: конкретното събитие е вмъкването и откриването на скрит текст, последвано от санкция, а не демонстрирана съдебна грешка, подпомагана от AI. Докладът също така не проверява независимо пълното техническо поведение на документа в различни софтуерни системи или работни потоци на сканиране.
Инцидентът илюстрира по-широк проблем със сигурността за организации, които подават ненадеждни документи в AI системи. Документ може да бъде подходящ за четене от хора, но да съдържа скрито форматиране, метаданни или машинно четими инструкции, които засягат автоматизиран обобщител или асистент. В съда подобна манипулация може да изкриви резюмето, да приоритизира претенциите на една страна, да пропусне съответния контекст или да създаде неточно впечатление за записа. Подобни рискове могат да възникнат при наемане, образование, застраховане и държавни работни процеси, въпреки че примерите в доклада за тези настройки се приписват на съдията и не се разглеждат независимо тук.
Случаят също така разделя отговорната AI помощ от непроверената надеждност. Спейдър написа, че AI инструментите вероятно ще останат част от правната работа и каза, че е използвал Google Gemini за работен превод и AI инструменти на Westlaw за проверка на властите, като същевременно независимо проверява резултатите. Практическият урок не е, че съдилищата трябва да се откажат от изкуствения интелект, а че се нуждаят от контрол около произхода, изобразяването на документи, прегледа от хора и способността да възстановят как е създаден резултатът. Докладът не казва дали Кънектикът е приел такъв контрол.
Интерактивен механизъм: как всъщност работи
Разгледайте интерактивно основната технология зад тази разработка.
Why can ethical evaluation not be reduced to one model score?
Какво да гледате след това
Основният въпрос без отговор е как съдилищата ще проверяват цифрово подадените документи, когато видимата страница може да не съдържа всичко, вградено във файла. Докладът не идентифицира единна съдебна политика за откриване на скрит текст, нито установява, че някоя система с изкуствен интелект е обработила подканата на Елиът. Бъдещи случаи може да изяснят санкциите, задълженията за разкриване, гаранциите за обработка на документи и как страните могат да оспорят решение, подпомогнато от AI, което може да е било засегнато от скрито съдържание.
Съдилищата и доставчиците на правни услуги може да се нуждаят от процедури, които сравняват изобразения външен вид на документа с неговия текст и форматиране. Възможните предпазни мерки включват конвертиране на файловете в стандартизирани формати, маркиране на бял върху бял текст и непечатаеми знаци, сканиране за скрити слоеве и изискване за преглед от човек, преди генерираните от AI обобщения да повлияят на решенията. Източникът не съобщава, че Кънектикът е приложил някоя от тези мерки, така че не трябва да се предполага тяхното използване.
Бъдещи спорове могат да тестват дали скритите инструкции нарушават съществуващите правила за откровеност, почтеност на документите, измама или злоупотреба със съдебни процеси и дали санкциите трябва да се различават, когато подканата просто присъства спрямо когато тя очевидно променя резултат от AI. В случая на Елиът докладваната санкция е загуба на привилегии за електронно подаване, а не отхвърляне на делото. Докладът не предоставя по-широк прецедент или посочва дали решението е обжалвано.
Ключов въпрос за проверка ще бъде дали някой съд, страна или доставчик може да докаже, че AI система е обработила скрития текст. Съобщаваната липса на AI система за подаване и преглед на съдебния клон на Кънектикът стеснява незабавния иск, но адвокатите и страните могат да използват инструменти на трети страни извън собствените системи на съда. Разследващите ще се нуждаят от записи на качени документи, версии на софтуера, подкани, резултати и човешки решения, за да установят дали манипулацията е повлияла на резултата.
Докладът предполага, че скритите инструкции могат да станат по-трудни за идентифициране, тъй като правните работни процеси разчитат на обобщаване на документи и автоматизиран преглед. Практическите предпазни мерки ще трябва да запазят достъпа за самопредставляващите се страни, като същевременно предотвратяват пренасянето на неразкрити команди в цифрови документи. Докато съдилищата не публикуват по-ясни технически и процедурни стандарти, степента на риска остава несигурна. Разказът на тази статия се основава на доклада на The Stamford Advocate, препубликуван от GovTech, и съдебните материали и интервюта, които цитира; основните файлове и всички регистрационни файлове за обработка на AI не са прегледани независимо тук.