Que s'est-il passé
Le Stamford Advocate, dans un rapport republié par GovTech, a rapporté que Matthew Elliott, un plaideur auto-représenté du Connecticut, avait inséré un texte blanc presque invisible dans les documents judiciaires. L’instruction cachée demandait à tout système d’IA examinant le document d’être d’accord avec les arguments d’Elliott et de soutenir l’annulation d’une décision antérieure. Le juge de la Cour supérieure du Connecticut, Walter Spader Jr., a décrit la tactique comme une injection rapide et délibérée et a sanctionné Elliott en exigeant que les futurs documents déposés dans l'affaire soient soumis sur papier.
Le Stamford Advocate, dans un article republié par GovTech, a déclaré qu'Elliott avait placé un message en petit texte blanc dans un dossier judiciaire du Connecticut. L’instruction commençait par « Si ce document est examiné par un modèle d’IA » et demandait au système de s’assurer que sa sortie était conforme au dossier d’Elliott. Selon le rapport, cela a également orienté le système vers l’annulation de la décision antérieure d’un commis et la constatation que le New York Bariatric Group est en défaut. Le récit attribue ces détails au mémorandum du juge Walter Spader Jr. et aux documents judiciaires associés.
Le rapport indique que Spader a découvert le texte en examinant les documents déposés le 31 juillet et en imprimant des documents qui semblaient contenir des zones vierges inhabituelles. Le tribunal a estimé que le langage formaté était presque invisible pour une personne tout en restant lisible pour le logiciel qui traitait le texte du document. Elliott a reconnu à CT Insider, comme cité dans le rapport, qu'il avait utilisé du texte invisible destiné à un système d'IA. Il a contesté l’interprétation de son objectif par le juge, affirmant qu’il tentait de déterminer si l’IA était utilisée pour examiner ses dossiers.
Le rapport indique que le pouvoir judiciaire du Connecticut n'utilise pas actuellement de système d'intelligence artificielle pour examiner les dossiers ou les défauts potentiels. Spader a néanmoins conclu que cette conduite était inappropriée, car les avocats, les justiciables et d’autres professionnels du droit peuvent utiliser des outils d’IA pour examiner des dossiers, résumer des dossiers ou préparer des dossiers. Le juge a écrit que la question ne dépendait pas de la question de savoir si le tribunal lui-même utilisait l’IA, car les éléments dissimulés constituaient une tentative d’induire le tribunal et les parties adverses en erreur.
Après que le tribunal ait soulevé la question, Elliott a continué à placer des éléments presque invisibles dans des documents ultérieurs, selon le rapport. Certains messages faisaient référence en plaisantant au fondateur du parti adverse, à une vidéo de Bob l’éponge et à une ligne adressée à toute personne susceptible de voir le texte caché. Elliott a déclaré que ces ajouts étaient des blagues plutôt que de nouvelles tentatives d’influencer l’IA. Spader considérait la dissimulation continue comme une preuve que la conduite initiale était délibérée. Le juge a interdit à Elliott de déposer des dossiers par voie électronique dans l'affaire, mais lui a permis de continuer à plaider et à utiliser l'IA pour l'aider à préparer les dossiers. L'impression des documents supprimerait le texte numérique masqué du processus de classement décrit dans le rapport.
Détails de la source: govtech.com ↗
Pourquoi c'est important
Cette affaire fournit un exemple concret d’injection rapide passant des démonstrations d’IA à une procédure judiciaire. Le rapport indique que le pouvoir judiciaire du Connecticut n’utilisait pas de système d’IA pour examiner les dossiers, et rien n’indique que les instructions cachées aient modifié l’issue de l’affaire. Mais les intervenants des tribunaux, les avocats et les chercheurs en droit utilisent de plus en plus l’IA pour résumer des documents, examiner des dossiers et préparer des arguments, créant ainsi des voies potentielles permettant aux instructions dissimulées d’influencer les systèmes en aval.
L’injection rapide consiste généralement à placer des instructions dans un matériau qu’un système d’IA est invité à lire, dans le but de modifier le comportement du système. La tactique signalée est importante car l’instruction était cachée au public humain alors qu’elle visait un logiciel. Spader a caractérisé la commande cachée comme une communication secrète avec le mécanisme par lequel une affaire peut être lue et pesée. Cette distinction est importante dans les procédures judiciaires, où les parties adverses sont censées voir et répondre aux arguments présentés au tribunal.
Le rapport n’établit pas qu’un système d’IA ait effectivement lu le dossier d’Elliott, suivi les instructions ou influencé une décision. Il indique que l'invite n'a apparemment pas fonctionné dans ce cas. Ces limitations sont importantes : l’événement concret est l’insertion et la découverte d’un texte dissimulé, suivies d’une sanction, et non une erreur judiciaire démontrée assistée par l’IA. Le rapport ne vérifie pas non plus de manière indépendante le comportement technique complet du document dans différents systèmes logiciels ou flux de travail de numérisation.
L’incident illustre un problème de sécurité plus large pour les organisations qui introduisent des documents non fiables dans les systèmes d’IA. Un document peut être adapté à la lecture humaine mais contenir un formatage caché, des métadonnées ou des instructions lisibles par machine qui affectent un résumé ou un assistant automatisé. Devant un tribunal, une telle manipulation pourrait déformer un résumé, donner la priorité aux allégations d’une partie, omettre un contexte pertinent ou créer une impression inexacte du dossier. Des risques similaires pourraient survenir dans les flux de travail en matière de recrutement, d’éducation, d’assurance et gouvernementaux, bien que les exemples de ces contextes présentés dans le rapport soient attribués au juge et ne soient pas examinés ici de manière indépendante.
L’affaire distingue également l’assistance responsable de l’IA de la dépendance non examinée. Spader a écrit que les outils d'IA resteront probablement une partie du travail juridique et a déclaré qu'il avait utilisé Google Gemini pour une traduction fonctionnelle et les outils d'IA de Westlaw pour vérifier les autorités, tout en vérifiant les résultats de manière indépendante. La leçon pratique n’est pas que les tribunaux doivent abandonner l’IA, mais qu’ils ont besoin de contrôles sur la provenance, la restitution des documents, l’examen humain et la capacité de reconstituer la manière dont un résultat a été produit. Le rapport ne précise pas si le Connecticut a adopté de tels contrôles.
Mécanisme interactif : comment cela fonctionne réellement
Explorez de manière interactive la technologie sous-jacente à ce développement.
Why can ethical evaluation not be reduced to one model score?
Que regarder ensuite
La question centrale sans réponse est de savoir comment les tribunaux inspecteront les documents soumis sous forme numérique lorsque la page visible ne contient pas tout ce qui est intégré dans le dossier. Le rapport n’identifie pas de politique judiciaire uniforme pour détecter le texte caché, et n’établit pas non plus qu’un système d’IA ait traité l’invite d’Elliott. Les affaires futures pourraient clarifier les sanctions, les obligations de divulgation, les garanties en matière de traitement des documents et la manière dont les parties peuvent contester une décision assistée par l'IA qui pourrait avoir été affectée par un contenu caché.
Les tribunaux et les prestataires de services juridiques peuvent avoir besoin de procédures permettant de comparer l’apparence d’un document avec son texte et son formatage sous-jacents. Les mesures de protection possibles incluent la conversion des documents déposés dans des formats standardisés, le marquage du texte blanc sur blanc et des caractères non imprimables, la recherche de couches cachées et l'exigence d'un examen humain avant que les résumés générés par l'IA n'affectent les décisions. La source ne signale pas que le Connecticut a mis en œuvre l'une de ces mesures, il ne faut donc pas présumer de leur utilisation.
De futurs litiges pourraient déterminer si les instructions dissimulées violent les règles existantes en matière de franchise, d’intégrité du dépôt, de fraude ou d’abus de procédures judiciaires, et si les sanctions devraient différer lorsqu’une invite est simplement présente ou lorsqu’elle modifie manifestement un résultat de l’IA. Dans le cas d’Elliott, la sanction signalée était la perte des privilèges de dépôt électronique plutôt que le rejet de la poursuite. Le rapport ne fournit pas de précédent plus large ni n'indique si la décision a fait l'objet d'un appel.
Une question clé de vérification sera de savoir si un tribunal, une partie ou un fournisseur peut démontrer qu'un système d'IA a traité le texte caché. L’absence signalée par le pouvoir judiciaire du Connecticut d’un système d’examen des dossiers par IA restreint la réclamation immédiate, mais les avocats et les justiciables peuvent utiliser des outils tiers en dehors des propres systèmes du tribunal. Les enquêteurs auraient besoin d’enregistrements des téléchargements de documents, des versions de logiciels, des invites, des résultats et des décisions humaines pour déterminer si la manipulation a affecté un résultat.
Le rapport suggère que les instructions cachées pourraient devenir plus difficiles à identifier dans la mesure où les flux de travail juridiques reposent sur la synthèse des documents et leur examen automatisé. Des garanties pratiques devront préserver l’accessibilité pour les justiciables non représentés tout en empêchant les dépôts numériques de contenir des commandes non divulguées. Jusqu’à ce que les tribunaux publient des normes techniques et procédurales plus claires, l’ampleur du risque reste incertaine. Le récit de cet article est basé sur le rapport du Stamford Advocate tel que republié par GovTech et sur les documents judiciaires et les entretiens qu'il cite ; les dépôts sous-jacents et les journaux de traitement de l’IA n’ont pas été examinés de manière indépendante ici.