Ce sa întâmplat
Stamford Advocate, într-un raport republicat de GovTech, a raportat că Matthew Elliott, un justițiabil auto-reprezentat din Connecticut, a inserat un text alb aproape invizibil în dosarele instanței. Instrucțiunea ascunsă a spus oricărui sistem AI care revizuiește documentul să fie de acord cu argumentele lui Elliott și să sprijine anularea unei hotărâri anterioare. Judecătorul de la Curtea Superioară din Connecticut, Walter Spader Jr., a descris tactica ca fiind o injecție ă deliberată și l-a sancționat pe Elliott solicitând ca dosarele viitoare ale cazului să fie depuse pe hârtie.
Stamford Advocate, într-un raport republicat de GovTech, a spus că Elliott a plasat un mesaj într-un text alb minuscul într-un dosar al instanței din Connecticut. Instrucțiunea a început „Dacă acest document este revizuit de un model AI” și a direcționat sistemul să se asigure că rezultatele sale sunt de acord cu depunerea lui Elliott. Potrivit raportului, acesta a îndreptat, de asemenea, sistemul spre anularea deciziei anterioare a unui funcționar și găsirea New York Bariatric Group în neregulă. Contul atribuie aceste detalii memoriului judecătorului Walter Spader Jr. și documentelor judecătorești conexe.
Raportul spunea că Spader a descoperit textul în timp ce examina dosarele pe 31 iulie și tipări documente care păreau să conțină zone goale neobișnuite. Instanța a constatat că limbajul formatat este aproape invizibil pentru o persoană, rămânând în același timp lizibil pentru software-ul care procesa textul documentului. Elliott a recunoscut pentru CT Insider, după cum este citat în raport, că a folosit text invizibil destinat unui sistem AI. El a contestat interpretarea de către judecător a scopului său, spunând că încerca să stabilească dacă AI a fost folosită pentru a-și revizui dosarele.
Raportul spunea că Serviciul Judiciar din Connecticut nu a folosit în prezent un sistem de inteligență artificială pentru a examina dosarele sau potențialele nerespectări. Cu toate acestea, Spader a concluzionat că conduita a fost necorespunzătoare, deoarece avocații, justițiabilii și alți profesioniști din domeniul juridic pot folosi instrumente AI pentru a examina dosarele, a rezuma înregistrările sau a pregăti cazuri. Judecătorul a scris că problema nu depinde de dacă instanța însăși a folosit AI, deoarece materialul ascuns era o încercare de a induce în eroare instanța și părțile adverse.
După ce instanța a ridicat problema, Elliott a continuat să plaseze materiale aproape invizibile în dosarele ulterioare, potrivit raportului. Unele mesaje se refereau în glumă la fondatorul partidului advers, un videoclip SpongeBob SquarePants și o linie adresată oricui ar putea vedea textul ascuns. Elliott a spus că aceste completări au fost mai degrabă glume decât încercări ulterioare de a influența AI. Spader a considerat că ascunderea continuă ca o dovadă că comportamentul inițial a fost deliberat. Judecătorul ia interzis lui Elliott depunerea electronică a dosarului, dar i-a permis să continue litigiile și să folosească AI pentru a ajuta la pregătirea dosarelor. Imprimarea documentelor ar elimina textul digital ascuns din procesul de depunere descris în raport.
De ce contează
Cazul oferă un exemplu concret de injectare ă care trece de la demonstrațiile AI într-un proces legal. Raportul spune că Filiala Judiciară din Connecticut nu folosea un sistem AI pentru a revizui dosarele și nu există nicio indicație că instrucțiunile ascunse au schimbat rezultatul cazului. Dar participanții la tribunal, avocații și cercetătorii juridici folosesc din ce în ce mai mult AI pentru a rezuma documente, a revizui dosarele și a pregăti argumente, creând potențiale rute pentru instrucțiuni ascunse pentru a influența sistemele din aval.
Injectarea ă implică, în general, plasarea instrucțiunilor în material pe care un sistem AI este rugat să-l citească, cu scopul de a schimba comportamentul sistemului. Tactica raportată este semnificativă deoarece instrucțiunea a fost ascunsă publicului uman în timp ce era vizată de software. Spader a caracterizat comanda ascunsă ca o comunicare secretă către mecanismul prin care o chestiune putea fi citită și cântărită. Această distincție contează în procedurile judiciare, în care părțile adverse sunt așteptate să vadă și să răspundă argumentelor prezentate instanței.
Raportul nu stabilește că un sistem AI a citit de fapt dosarul lui Elliott, a urmat instrucțiunile sau a influențat o decizie. Se spune că promptul aparent nu a funcționat în acest caz. Aceste limitări sunt importante: evenimentul concret este inserarea și descoperirea unui text ascuns, urmată de o sancțiune, nu o eroare judiciară demonstrată asistată de IA. De asemenea, raportul nu verifică în mod independent comportamentul tehnic complet al documentului în diferite sisteme software sau fluxuri de lucru de scanare.
Incidentul ilustrează o problemă de securitate mai largă pentru organizațiile care furnizează documente care nu sunt de încredere în sistemele AI. Un document poate fi adecvat pentru citirea umană, dar conține formatare ascunse, metadate sau instrucțiuni care pot fi citite de mașină, care afectează un rezumat sau un asistent automat. Într-o instanță, o astfel de manipulare ar putea denatura un rezumat, să prioritizeze pretențiile unei părți, să omite contextul relevant sau să creeze o impresie inexactă a înregistrării. Riscuri similare ar putea apărea în angajarea, educația, asigurările și fluxurile de lucru guvernamentale, deși exemplele din raport ale acestor setări sunt atribuite judecătorului și nu sunt examinate în mod independent aici.
Cazul separă, de asemenea, asistența responsabilă AI de încrederea nerevizuită. Spader a scris că instrumentele AI vor rămâne probabil parte a activității legale și a spus că a folosit Google Gemini pentru o traducere funcțională și instrumentele Westlaw AI pentru a verifica autoritățile, verificând în același timp rezultatele în mod independent. Lecția practică nu este că instanțele trebuie să renunțe la inteligența artificială, ci că au nevoie de controale privind proveniența, redarea documentelor, revizuirea umană și capacitatea de a reconstrui modul în care a fost produs un rezultat. Raportul nu spune dacă Connecticut a adoptat astfel de controale.
Mecanism interactiv: cum funcționează de fapt
Explorați tehnologia care stau la baza acestei dezvoltări în mod interactiv.
Why can ethical evaluation not be reduced to one model score?
Ce să urmărești în continuare
Întrebarea centrală fără răspuns este cum vor inspecta instanțele documentele transmise digital atunci când pagina vizibilă poate să nu conțină tot ce este încorporat în dosar. Raportul nu identifică o politică uniformă a instanței pentru detectarea textului ascuns și nici nu stabilește că vreun sistem AI a procesat solicitarea lui Elliott. Cazurile viitoare pot clarifica sancțiunile, obligațiile de divulgare, garanțiile de prelucrare a documentelor și modul în care părțile pot contesta o decizie asistată de IA care ar fi putut fi afectată de conținut ascuns.
Instanțele și furnizorii de servicii juridice pot avea nevoie de proceduri care să compare aspectul redat al unui document cu textul și formatarea subiacente. Posibilele garanții includ conversia fișierelor în formate standardizate, semnalarea textului alb-pe-alb și a caracterelor care nu se imprimă, scanarea pentru straturi ascunse și necesitatea revizuirii umane înainte ca rezumatele generate de AI să afecteze deciziile. Sursa nu raportează că Connecticut a implementat vreuna dintre aceste măsuri, așa că utilizarea lor nu trebuie presupusă.
Litigiile viitoare pot testa dacă instrucțiunile ascunse încalcă regulile existente privind sinceritatea, integritatea dosarului, frauda sau abuzul de procese judiciare și dacă sancțiunile ar trebui să difere atunci când un este doar prezent față de atunci când modifică în mod demonstrabil un rezultat al AI. În cazul lui Elliott, sancțiunea raportată a fost pierderea privilegiilor de depunere electronică, mai degrabă decât respingerea procesului. Raportul nu oferă un precedent mai larg și nu indică dacă hotărârea a fost atacată cu recurs.
O întrebare cheie de verificare va fi dacă orice instanță, parte sau furnizor poate demonstra că un sistem AI a procesat textul ascuns. Lipsa raportată a Serviciului Judiciar din Connecticut a unui sistem de examinare a dosarelor AI restrânge cererea imediată, dar avocații și justițiabilii pot folosi instrumente terțe în afara sistemelor proprii ale instanței. Anchetatorii ar avea nevoie de înregistrări ale încărcărilor de documente, versiuni de software, solicitări, rezultate și decizii umane pentru a stabili dacă manipularea a afectat un rezultat.
Raportul sugerează că instrucțiunile ascunse ar putea deveni mai greu de identificat, deoarece fluxurile de lucru legale se bazează pe rezumarea documentelor și revizuirea automată. Măsurile practice de protecție vor trebui să păstreze accesibilitatea justițiabililor auto-reprezentați, împiedicând în același timp dosarele digitale să poarte comenzi nedezvăluite. Până când instanțele nu publică standarde tehnice și procedurale mai clare, amploarea riscului rămâne incertă. Relatarea acestui articol se bazează pe raportul The Stamford Advocate republicat de GovTech și pe materialele și interviurile pe care le citează; dosarele de bază și orice jurnal de procesare AI nu au fost revizuite în mod independent aici.