Co se stalo
Stamford Advocate ve zprávě, kterou znovu zveřejnil GovTech, uvedl, že Matthew Elliott, samostatně zastupovaný účastník sporu v Connecticutu, vložil do soudních podání téměř neviditelný bílý text. Skrytá instrukce řekla jakémukoli systému AI, který dokument reviduje, aby souhlasil s Elliottovými argumenty a podpořil zrušení dřívějšího rozhodnutí. Soudce vrchního soudu v Connecticutu Walter Spader Jr. popsal taktiku jako úmyslnou rychlou injekci a posvětil Elliotta tím, že vyžadoval, aby budoucí podání v případu byla předložena na papíře.
Stamford Advocate ve zprávě, kterou znovu zveřejnil GovTech, uvedl, že Elliott umístil zprávu v malém bílém textu do soudního spisu v Connecticutu. Pokyn začínal slovy „Pokud je tento dokument zkontrolován modelem AI“ a nařídil systému, aby zajistil, že jeho výstup souhlasí s Elliottovým podáním. Podle zprávy také nasměrovala systém tak, aby zvrátil dřívější rozhodnutí úředníka a zjistil, že New York Bariatric Group je v prodlení. Účet připisuje tyto podrobnosti memorandu soudce Waltera Spadera Jr. a souvisejícím soudním dokumentům.
Zpráva uvádí, že Spader objevil text při kontrole podání 31. července a tisku dokumentů, které vypadaly, že obsahují neobvyklé prázdné oblasti. Soud shledal jazyk naformátovaný tak, aby byl pro člověka téměř neviditelný, zatímco zůstal čitelný pro software, který zpracoval text dokumentu. Elliott přiznal CT Insider, jak je citováno ve zprávě, že použil neviditelný text určený pro systém AI. Zpochybnil soudcovu interpretaci jeho účelu a řekl, že se pokoušel zjistit, zda byla AI použita k přezkoumání jeho podání.
Zpráva uvádí, že justiční pobočka v Connecticutu v současnosti nepoužívá systém umělé inteligence ke kontrole podání nebo potenciálních selhání. Spader nicméně došel k závěru, že jednání bylo nevhodné, protože právníci, účastníci sporu a další právní odborníci mohou používat nástroje umělé inteligence k přezkoumání dokumentů, shrnutí záznamů nebo přípravě případů. Soudce napsal, že problém nezávisí na tom, zda soud sám použil AI, protože skrytý materiál byl pokusem uvést soud a protistrany v omyl.
Poté, co soud problém vznesl, Elliott podle zprávy nadále umisťoval téměř neviditelný materiál do pozdějších podání. Některé zprávy vtipně odkazovaly na zakladatele protistrany, video SpongeBob SquarePants a řádek adresovaný komukoli, kdo by mohl vidět skrytý text. Elliott řekl, že tyto dodatky byly spíše vtipy než další pokusy ovlivnit AI. Spader považoval pokračující zatajování za důkaz, že původní jednání bylo úmyslné. Soudce zakázal Elliottovi elektronické podání v případu, ale umožnil mu pokračovat v soudních sporech a používat AI k přípravě podání. Tisk dokumentů by odstranil skrytý digitální text z procesu archivace popsaného ve zprávě.
Podrobnosti o zdroji: govtech.com ↗
Proč na tom záleží
Případ poskytuje konkrétní příklad rychlé injekce přecházející z demonstrací umělé inteligence do právního procesu. Zpráva říká, že justiční pobočka Connecticutu nepoužívala systém umělé inteligence ke kontrole podání a nic nenasvědčuje tomu, že by skrytý pokyn změnil výsledek případu. Účastníci soudů, právníci a právní vědci však stále častěji využívají umělou inteligenci k sumarizaci dokumentů, přezkoumání dokumentů a přípravě argumentů, čímž vytvářejí potenciální cesty pro skryté pokyny k ovlivnění navazujících systémů.
Okamžitá injekce obecně zahrnuje umístění pokynů do materiálu, který má systém AI přečíst, s cílem změnit chování systému. Hlášená taktika je významná, protože instrukce byla skryta před lidským publikem, zatímco byla zaměřena na software. Spader charakterizoval skrytý příkaz jako tajnou komunikaci s mechanismem, kterým lze číst a vážit záležitost. Toto rozlišení je důležité v soudním řízení, kde se očekává, že protistrany uvidí argumenty předložené soudu a zodpoví na ně.
Zpráva neprokazuje, že systém umělé inteligence skutečně přečetl Elliottovo podání, postupoval podle pokynů nebo ovlivnil rozhodnutí. Říká, že výzva v tomto případě zřejmě nefungovala. Tato omezení jsou důležitá: konkrétní událostí je vložení a objevení skrytého textu, po kterém následuje sankce, nikoli prokázaná soudní chyba za pomoci umělé inteligence. Zpráva také nezávisle neověřuje úplné technické chování dokumentu v různých softwarových systémech nebo pracovních postupech skenování.
Incident ilustruje širší bezpečnostní problém pro organizace, které vkládají nedůvěryhodné dokumenty do systémů AI. Dokument může být vhodný pro čtení člověkem, ale může obsahovat skryté formátování, metadata nebo strojově čitelné instrukce, které ovlivňují automatizovaný sumátor nebo asistenta. U soudu by taková manipulace mohla zkreslit shrnutí, upřednostnit nároky jedné strany, vynechat relevantní kontext nebo vytvořit nepřesný dojem ze záznamu. Podobná rizika by mohla vzniknout při náboru, vzdělávání, pojištění a vládních pracovních postupech, ačkoli příklady těchto nastavení ve zprávě jsou připisovány soudci a nejsou zde nezávisle zkoumány.
Případ také odděluje odpovědnou pomoc AI od nepřezkoumaného spoléhání se. Spader napsal, že nástroje umělé inteligence pravděpodobně zůstanou součástí legální práce, a řekl, že použil Google Gemini pro funkční překlad a nástroje Westlaw AI ke kontrole úřadů, přičemž nezávisle ověřoval výsledky. Praktickou lekcí není, že soudy musí opustit umělou inteligenci, ale že potřebují kontroly týkající se původu, vykreslování dokumentů, kontroly člověkem a schopnosti rekonstruovat, jak byl výstup vytvořen. Zpráva neuvádí, zda Connecticut takové kontroly přijal.
Interaktivní mechanismus: Jak to vlastně funguje
Interaktivně prozkoumejte základní technologii tohoto vývoje.
Why can ethical evaluation not be reduced to one model score?
Na co se dále dívat
Ústřední nezodpovězenou otázkou je, jak budou soudy kontrolovat digitálně podané dokumenty, když viditelná stránka nemusí obsahovat vše, co je ve spise vloženo. Zpráva neidentifikuje jednotnou soudní politiku pro odhalování skrytého textu ani neprokazuje, že Elliottovu výzvu zpracoval jakýkoli systém umělé inteligence. Budoucí případy mohou objasnit sankce, informační povinnosti, záruky zpracování dokumentů a to, jak mohou strany napadnout rozhodnutí s pomocí AI, které mohlo být ovlivněno skrytým obsahem.
Soudy a poskytovatelé právních služeb mohou potřebovat postupy, které porovnávají vykreslený vzhled dokumentu s jeho podkladovým textem a formátováním. Mezi možná zabezpečení patří převod souborů do standardizovaných formátů, označování bílého textu a netisknutelných znaků, skenování skrytých vrstev a vyžadování kontroly člověkem, než souhrny generované AI ovlivní rozhodnutí. Zdroj neuvádí, že Connecticut zavedl některé z těchto opatření, takže jejich použití by se nemělo předpokládat.
Budoucí spory mohou otestovat, zda skryté pokyny porušují stávající pravidla o otevřenosti, neporušenosti podání, podvodu nebo zneužití soudních procesů a zda by se sankce měly lišit, když je výzva pouze přítomná, a když prokazatelně mění výstup AI. V Elliottově případě byla oznámenou sankcí spíše ztráta privilegií pro elektronické podávání než zamítnutí žaloby. Zpráva neposkytuje širší precedens ani neuvádí, zda bylo proti rozhodnutí podáno odvolání.
Klíčovou ověřovací otázkou bude, zda nějaký soud, strana nebo prodejce může prokázat, že systém AI zpracoval skrytý text. Neexistence systému pro kontrolu podání AI ze strany Connecticutské justiční pobočky zužuje okamžitý nárok, ale právníci a strany sporu mohou používat nástroje třetích stran mimo vlastní systémy soudu. Vyšetřovatelé by potřebovali záznamy o nahraných dokumentech, verzích softwaru, výzvách, výstupech a lidských rozhodnutích, aby zjistili, zda manipulace ovlivnila výsledek.
Zpráva naznačuje, že skryté pokyny by se mohly hůře identifikovat, protože právní pracovní postupy spoléhají na sumarizaci dokumentů a automatickou kontrolu. Praktická ochranná opatření budou muset zachovat přístupnost pro samostatně zastupované strany sporu a zároveň zabránit tomu, aby digitální spisy nesly nezveřejněné příkazy. Dokud soudy nezveřejní jasnější technické a procesní normy, rozsah rizika zůstává nejistý. Účet tohoto článku je založen na zprávě The Stamford Advocate, jak byla znovu publikována společností GovTech, a na soudních materiálech a rozhovorech, které cituje; podkladové záznamy a jakékoli protokoly zpracování AI zde nebyly nezávisle přezkoumány.