Cosa è successo
Il South Carolina Lawyers Weekly ha riferito che il giudice del tribunale del lavoro brasiliano Luiz Carlos de Araujo Santos Jr. ha sanzionato due avvocati nel caso De Barros v. De Lima dopo che il sistema di intelligenza artificiale Galileu del tribunale ha rilevato un'istruzione nascosta nella loro memoria. Il testo, secondo quanto riferito, reso bianco su sfondo bianco, invitava l'AI a contestare la petizione in modo superficiale ed evitare di contestarne i documenti. Il giudice ha ritenuto che la condotta costituisse malafede procedurale e disprezzo della dignità della giustizia. Agli avvocati è stato ordinato di pagare una sanzione in solido pari al 10% della richiesta di circa $ 165.000 del loro cliente, e la questione è stata deferita all'ordine degli avvocati del Brasile e all'ispettore generale regionale. L’opinione della corte e la traduzione del rapporto non sono state qui confermate in modo indipendente.
Il South Carolina Lawyers Weekly ha riferito che il caso riguardava un querelante che aveva citato in giudizio un datore di lavoro per un presunto rapporto di lavoro non registrato ai sensi della legge brasiliana. Il querelante ha chiesto danni e sanzioni legali, inclusi salari non pagati, straordinari, indennità di rischio e indennità di fine rapporto, per una richiesta totale di circa $ 165.000 in dollari USA. Il datore di lavoro convenuto era inadempiente. L’articolo identificava i due avvocati del querelante come le persone che avevano inserito le istruzioni nascoste nella denuncia.
Secondo il rapporto, il sistema Galileu sviluppato dal tribunale ha trovato il testo nascosto durante l'elaborazione della denuncia. L'istruzione riportata si rivolgeva direttamente all'AI: diceva al sistema di contestare superficialmente la petizione e di non contestare i documenti indipendentemente dal comando impartitogli. Gli avvocati avrebbero formattato il testo in caratteri bianchi su sfondo bianco, rendendolo invisibile ai lettori umani in normali condizioni di visualizzazione. Il rapporto presenta questo come un tentativo di iniezione tempestiva diretto a un sistema di intelligenza artificiale utilizzato nel registro del tribunale o nel flusso di lavoro di archiviazione.
Il rapporto afferma che il giudice Luiz Carlos de Araujo Santos Jr. ha concluso che il comando nascosto non era correlato alla legittima rappresentanza del cliente e rappresentava un attacco all'integrità dell'attività giudiziaria. Il giudice avrebbe riscontrato malafede procedurale e disprezzo della dignità della giustizia. Ha imposto una sanzione pari al 10% della pretesa del cliente, rendendo gli avvocati responsabili in solido e ha deferito la questione all’ordine degli avvocati brasiliano e all’ufficio dell’ispettore generale regionale. La fonte dice che il giudice avrebbe potuto imporre una sanzione fino al 20% della richiesta.
L'articolo citava una traduzione inglese del parere, ma non riportava il documento originale del tribunale nel materiale fornito. I fatti riportati, inclusa l'esistenza e le capacità di Galileu, l'esatta formulazione della richiesta nascosta, la sanzione e i deferimenti, rimangono quindi affermazioni attribuite al South Carolina Lawyers Weekly piuttosto che fatti verificati in modo indipendente in questa valutazione. L'articolo descriveva anche l'evento come ritenuto il primo caso segnalato di avvocati che incorporavano un suggerimento nascosto in una memoria per questo scopo, ma anche qui tale distinzione non è stabilita in modo indipendente.
Dettagli della fonte: sclawyersweekly.com ↗
Perché è importante
L’incidente mostra come i normali documenti legali possano diventare superfici di attacco quando i sistemi di intelligenza artificiale li analizzano. Illustra inoltre che i doveri esistenti di franchezza, onestà ed equità possono applicarsi ai tentativi di manipolare un processo giudiziario assistito dall’intelligenza artificiale anche quando le regole professionali non menzionano espressamente suggerimenti nascosti.
Il significato pratico è che la pronta iniezione non è limitata ai chatbot o ai repository software. Se un sistema di intelligenza artificiale legge atti legali, contratti, prove o altro materiale inviato, il testo all’interno di tali materiali può essere trattato come istruzioni a meno che il sistema non sia progettato per distinguere i dati dai comandi. Un’istruzione nascosta può quindi tentare di influenzare un riepilogo, una classificazione o una raccomandazione automatizzata senza modificare l’argomentazione visibile del documento per un revisore umano.
Il South Carolina Lawyers Weekly ha citato il giudice della Corte distrettuale del Massachusetts, Brian D. Palmucci, che ha affermato che l’intelligenza artificiale non riduce gli obblighi professionali degli avvocati e può creare ulteriori doveri legati alla competenza tecnologica. L'articolo citava anche l'avvocato Timothy V. Fisher, che ha descritto la condotta come un tentativo di aggirare il ragionamento giudiziario ordinario inducendo con l'inganno una modella a concordare con il denunciante. Queste sono le valutazioni delle fonti citate, non una sentenza legale indipendente sui tribunali di altri paesi.
La sanzione segnalata è importante perché tratta la manipolazione di un processo assistito dall’intelligenza artificiale come un problema di integrità giudiziaria, non semplicemente come un exploit tecnico. Un tribunale può fare affidamento sull’intelligenza artificiale per il lavoro amministrativo o analitico pur mantenendo la responsabilità umana delle decisioni. Se le parti riescono a modellare segretamente l’output intermedio del sistema, tuttavia, il processo del tribunale potrebbe essere distorto prima che un giudice o un impiegato vedano il risultato. Il caso solleva quindi interrogativi sulla catena di custodia, sui registri di audit, sulla resa dei documenti e sulla revisione umana.
Il rapporto non dimostra se Galileu abbia effettivamente modificato una decisione giudiziaria, alterato il documento o prodotto una raccomandazione favorevole. Stabilisce solo ciò che il punto vendita ha affermato che il tribunale ha riscontrato e sanzionato. Inoltre, non mostra se la tecnica ha funzionato, come il sistema l'ha rilevata o se qualsiasi altro file è stato interessato. Tali limitazioni sono importanti: un’individuazione efficace e una risposta disciplinare dimostrano esposizione e responsabilità, ma non misurano la prevalenza o il tasso di successo nel mondo reale di suggerimenti nascosti nei sistemi legali.
Meccanismo interattivo: come funziona realmente
Esplora la tecnologia alla base di questo sviluppo in modo interattivo.
Why can ethical evaluation not be reduced to one model score?
Cosa guardare dopo
I tribunali e le autorità di regolamentazione possono chiarire se le richieste presentate per la revisione assistita dall’intelligenza artificiale necessitano di garanzie tecniche, regole di divulgazione o certificazione aggiuntiva. Le questioni irrisolte includono quanto ampiamente i tribunali utilizzino l’intelligenza artificiale generativa per elaborare le istanze, se Galileu abbia commesso o impedito errori sostanziali e se gli avvocati sanzionati facciano appello o debbano affrontare una disciplina professionale separata.
I tribunali che utilizzano l’intelligenza artificiale per leggere o riassumere i documenti potrebbero aver bisogno di controlli che trattino i documenti presentati come contenuti non attendibili piuttosto che come istruzioni eseguibili. Le misure di salvaguardia rilevanti potrebbero includere l’isolamento del testo del documento dalle istruzioni del sistema, il rendering o l’eliminazione della formattazione invisibile, la registrazione degli input e degli output del modello e la richiesta di un essere umano per verificare qualsiasi raccomandazione che influisca sul trattamento procedurale. La fonte non dice quale di questi controlli Galileu utilizza o se la magistratura brasiliana li ha adottati in modo più ampio.
L’articolo citava Fisher che affermava di non essere a conoscenza di tribunali statali o federali degli Stati Uniti che avessero adottato formalmente strumenti di intelligenza artificiale comparabili per analizzare i documenti giudiziari. Ha citato anche John F. Weaver, il quale ha affermato di sospettare che alcuni impiegati statunitensi utilizzino strumenti di intelligenza artificiale generativa come Claude, ChatGPT o Gemini per l'analisi o la stesura di bozze. Questi commenti sono speculazioni di esperti e osservazioni professionali, non prove che particolari tribunali stiano utilizzando tali sistemi o che vengano loro sottoposti documenti riservati.
Uno sviluppo chiave successivo sarebbe la conferma da parte della magistratura brasiliana, del parere originale, dell’ordine degli avvocati o dell’ispettore generale sullo status procedurale della sentenza e sugli esiti dei deferimenti. Sarebbe anche utile sapere se gli avvocati sanzionati hanno spiegato come è stato inserito il testo nascosto, se hanno contestato la sanzione e se il tribunale ha successivamente modificato le procedure di deposito o di revisione dell'IA. Nessuno di questi dettagli è fornito dal rapporto.
La questione politica più ampia è se le norme di condotta professionale esistenti siano sufficienti per i procedimenti mediati dall’IA. Weaver ha sottolineato le norme statunitensi riguardanti la franchezza nei confronti di un tribunale, la disonestà, la frode, l’inganno, le false dichiarazioni e i pregiudizi all’amministrazione della giustizia, pur riconoscendo che non menzionano specificamente le istruzioni nascoste dell’IA. Casi futuri potrebbero verificare come tali regole generali si applicano all’iniezione tempestiva, al testo invisibile, ai metadati manipolati e ad altri tentativi di influenzare i sistemi automatizzati. Fino a quando non saranno disponibili più documenti primari e casi comparabili, questo incidente dovrebbe essere trattato come un avvertimento significativo piuttosto che come una prova di un diffuso problema di IA giudiziaria.