Que s'est-il passé
South Carolina Lawyers Weekly a rapporté que le juge du tribunal du travail brésilien Luiz Carlos de Araujo Santos Jr. avait sanctionné deux avocats dans l'affaire De Barros c. De Lima après que le système Galileu AI du tribunal ait détecté une instruction cachée dans leur plaidoirie. Le texte, apparemment blanc sur fond blanc, demandait à Amnesty International de contester la pétition superficiellement et d'éviter de contester ses documents. Le juge a estimé que cette conduite équivalait à une mauvaise foi procédurale et à un outrage à la dignité de la justice. Les avocats ont été condamnés à payer une sanction solidaire égale à 10 % de la réclamation d’environ 165 000 $ de leur client, et l’affaire a été soumise au barreau du Brésil et à l’inspecteur général régional. L’opinion du tribunal et la traduction du rapport n’ont pas été confirmées ici de manière indépendante.
South Carolina Lawyers Weekly a rapporté que l'affaire impliquait un plaignant poursuivant un employeur en justice pour une relation de travail prétendument non enregistrée en vertu de la loi brésilienne. Le plaignant a demandé des dommages-intérêts et des amendes légales, y compris des salaires impayés, des heures supplémentaires, des indemnités de risque et des indemnités de départ, pour une réclamation totale d'environ 165 000 dollars américains. L'employeur défendeur avait fait défaut. L’article identifiait les deux avocats du plaignant comme étant ceux qui avaient inséré l’instruction cachée dans la plainte.
Selon le rapport, le système Galileu développé par le tribunal a trouvé le texte caché lors du traitement de la plainte. L’instruction signalée s’adressait directement à AI : elle demandait au système de contester la pétition superficiellement et de ne pas contester les documents, quel que soit l’ordre qui lui serait donné. Les avocats auraient formaté le texte en caractères blancs sur fond blanc, le rendant invisible aux lecteurs humains dans des conditions de visualisation normales. Le rapport présente cela comme une tentative d’injection rapide dirigée vers un système d’IA utilisé dans le rôle du tribunal ou dans le flux de travail de dépôt.
Le rapport indique que le juge Luiz Carlos de Araujo Santos Jr. a conclu que l'ordre caché n'avait aucun rapport avec la représentation légitime du client et constituait une attaque contre l'intégrité de l'activité judiciaire. Le juge aurait constaté une mauvaise foi procédurale et un outrage à la dignité de la justice. Il a imposé une sanction égale à 10 % de la créance du client, rendant les avocats solidairement responsables, et a porté l’affaire devant le barreau brésilien et le bureau de l’inspecteur général régional. La source affirme que le juge aurait pu imposer une sanction allant jusqu'à 20% du montant réclamé.
L’article citait une traduction anglaise de l’opinion, mais ne fournissait pas le document judiciaire original dans les documents fournis. Les faits rapportés, y compris l'existence et les capacités de Galileu, la formulation exacte de l'invite cachée, la sanction et les renvois, restent donc des allégations attribuées au South Carolina Lawyers Weekly plutôt que des faits vérifiés de manière indépendante dans cette évaluation. L’article décrit également l’événement comme étant le premier cas signalé d’avocats intégrant une invite cachée dans un plaidoyer à cette fin, mais cette distinction n’est pas non plus établie de manière indépendante ici.
Détails de la source: sclawyersweekly.com ↗
Pourquoi c'est important
L’incident montre comment des documents juridiques ordinaires peuvent devenir des surfaces d’attaque lorsque les systèmes d’IA les analysent. Cela montre également que les devoirs existants de franchise, d’honnêteté et d’équité peuvent s’appliquer aux tentatives de manipulation d’un processus judiciaire assisté par l’IA, même lorsque les règles professionnelles ne mentionnent pas expressément les invites cachées.
L’importance pratique est que l’injection rapide ne se limite pas aux chatbots ou aux référentiels de logiciels. Si un système d’IA lit des plaidoiries juridiques, des contrats, des preuves ou d’autres documents soumis, le texte contenu dans ces documents peut être traité comme des instructions, à moins que le système ne soit conçu pour distinguer les données des commandes. Une instruction cachée peut donc tenter d’influencer un résumé, une ou une recommandation automatisée sans modifier l’argumentation visible du document pour un réviseur humain.
Le South Carolina Lawyers Weekly a cité le juge du tribunal de district du Massachusetts, Brian D. Palmucci, qui a déclaré que l'IA ne réduit pas les obligations professionnelles des avocats et peut créer des obligations supplémentaires liées à la compétence technologique. L'article citait également l'avocat en propriété intellectuelle Timothy V. Fisher, qui a qualifié cette conduite de tentative de contourner le raisonnement judiciaire ordinaire en trompant un modèle pour qu'il soit d'accord avec le déposant. Il s’agit là des évaluations des sources citées, et non d’une décision juridique indépendante concernant les tribunaux d’autres pays.
La sanction annoncée est importante car elle traite la manipulation d’un processus assisté par l’IA comme un problème d’intégrité judiciaire, et non comme un simple exploit technique. Un tribunal peut s’appuyer sur l’IA pour effectuer des travaux administratifs ou analytiques tout en conservant la responsabilité humaine des décisions. Cependant, si les parties peuvent secrètement façonner le résultat intermédiaire du système, le processus judiciaire peut être déformé avant qu’un juge ou un greffier ne voie le résultat. L'affaire soulève donc des questions sur la chaîne de traçabilité, les journaux d'audit, la restitution des documents et l'examen humain.
Le rapport n'établit pas que Galileu ait effectivement modifié une décision judiciaire, modifié le rôle ou émis une recommandation favorable. Il établit uniquement ce que le média a déclaré que le tribunal a trouvé et sanctionné. Cela ne montre pas non plus que la technique a fonctionné, comment le système l'a détectée ou si un autre dépôt a été affecté. Ces limites sont importantes : une détection réussie et une réponse disciplinaire démontrent l’exposition et la responsabilité, mais elles ne mesurent pas la prévalence ou le taux de réussite réel des invites cachées dans les systèmes juridiques.
Mécanisme interactif : comment cela fonctionne réellement
Explorez de manière interactive la technologie sous-jacente à ce développement.
Why can ethical evaluation not be reduced to one model score?
Que regarder ensuite
Les tribunaux et les régulateurs peuvent préciser si les dossiers soumis pour examen assisté par l’IA nécessitent des garanties techniques, des règles de divulgation ou une certification supplémentaire. Les questions non résolues incluent la mesure dans laquelle les tribunaux utilisent l'IA générative pour traiter les dossiers, si Galileu a commis ou empêché une erreur substantielle, et si les avocats sanctionnés font appel ou font l'objet de mesures disciplinaires professionnelles distinctes.
Les tribunaux utilisant l’IA pour lire ou résumer les dossiers peuvent avoir besoin de contrôles qui traitent les documents soumis comme du contenu non fiable plutôt que comme des instructions exécutables. Les garanties pertinentes pourraient inclure l'isolement du texte du document des instructions du système, le rendu ou la suppression du formatage invisible, la journalisation des entrées et des sorties du modèle et l'obligation pour un humain de vérifier toute recommandation affectant le traitement procédural. La source ne précise pas lesquels de ces contrôles utilisent Galileu ni si le système judiciaire brésilien les a adoptés plus largement.
L'article citait Fisher disant qu'il n'était pas au courant de tribunaux étatiques ou fédéraux américains qui avaient officiellement adopté des outils d'IA comparables pour analyser les dossiers judiciaires. Il cite également John F. Weaver, qui a déclaré soupçonner que certains employés américains utilisent des outils d'IA générative tels que Claude, ChatGPT ou Gemini à des fins d'analyse ou de rédaction. Ces commentaires sont des spéculations d'experts et des observations professionnelles, et non la preuve que des tribunaux particuliers utilisent de tels systèmes ou que des documents confidentiels leur sont soumis.
Un prochain développement clé serait la confirmation par le pouvoir judiciaire brésilien, l’avis initial, le barreau ou l’inspecteur général du statut procédural de la décision et des résultats des renvois. Il serait également utile de savoir si les avocats sanctionnés ont expliqué comment le texte caché a été inséré, s'ils ont contesté la sanction et si le tribunal a ensuite modifié ses procédures de dépôt ou de contrôle par l'IA. Aucun de ces détails n’est fourni par le rapport.
La question politique plus large est de savoir si les règles de déontologie existantes sont suffisantes pour les procédures médiées par l’IA. Weaver a souligné les règles américaines concernant la franchise envers un tribunal, la malhonnêteté, la fraude, la tromperie, les fausses déclarations et les préjudices à l'administration de la justice, tout en reconnaissant qu'elles ne mentionnent pas spécifiquement les instructions cachées de l'IA. Des cas futurs pourraient tester la manière dont ces règles générales s’appliquent à l’injection rapide, au texte invisible, aux métadonnées manipulées et à d’autres tentatives visant à influencer les systèmes automatisés. Jusqu’à ce que davantage de documents primaires et de cas comparables soient disponibles, cet incident devrait être traité comme un avertissement important plutôt que comme la preuve d’un problème généralisé d’IA judiciaire.