Wat is er gebeurd
De Stamford Advocate meldde in een door GovTech opnieuw gepubliceerd rapport dat Matthew Elliott, een zelfvertegenwoordigende procederende partij uit Connecticut, bijna onzichtbare witte tekst in gerechtelijke documenten had ingevoegd. De verborgen instructie vertelde elk AI-systeem dat het document beoordeelde het eens te zijn met de argumenten van Elliott en het ongedaan maken van een eerdere uitspraak te ondersteunen. Rechter Walter Spader Jr. van het Superior Court van Connecticut beschreef de tactiek als een opzettelijke snelle injectie en bestrafte Elliott door te eisen dat toekomstige dossiers in de zaak op papier moesten worden ingediend.
De Stamford Advocate zei in een door GovTech opnieuw gepubliceerde rapportage dat Elliott een bericht in kleine witte tekst in een rechtbankdossier in Connecticut had geplaatst. De instructie begon met: ‘Als dit document wordt beoordeeld door een AI-model’ en gaf het systeem de opdracht ervoor te zorgen dat de output ervan overeenstemde met de indiening van Elliott. Volgens het rapport leidde het systeem er ook toe om de eerdere beslissing van een griffier terug te draaien en de New York Bariatric Group in gebreke te stellen. Het verslag schrijft deze details toe aan het memorandum van rechter Walter Spader Jr. en aanverwante gerechtelijke documenten.
Volgens het rapport ontdekte Spader de tekst terwijl hij de dossiers op 31 juli bekeek en documenten afdrukte die ongebruikelijke lege gebieden leken te bevatten. De rechtbank oordeelde dat taal die was opgemaakt bijna onzichtbaar was voor een persoon, maar wel leesbaar bleef voor software die de tekst van het document verwerkte. Elliott erkende tegenover CT Insider, zoals geciteerd in het rapport, dat hij onzichtbare tekst had gebruikt die bedoeld was voor een AI-systeem. Hij betwistte de interpretatie van zijn doel door de rechter en zei dat hij probeerde vast te stellen of AI werd gebruikt om zijn dossiers te beoordelen.
Het rapport stelt dat de Connecticut Judicial Branch momenteel geen kunstmatige-inlichtingensysteem gebruikt om dossiers of mogelijke wanbetalingen te beoordelen. Spader concludeerde niettemin dat het gedrag ongepast was omdat advocaten, procederende partijen en andere juridische professionals AI-instrumenten kunnen gebruiken om dossiers te beoordelen, documenten samen te vatten of zaken voor te bereiden. De rechter schrijft dat de kwestie er niet van afhing of de rechtbank zelf AI gebruikte, omdat het verborgen materiaal een poging was om de rechtbank en de tegenpartijen te misleiden.
Nadat de rechtbank de kwestie aan de orde had gesteld, bleef Elliott volgens het rapport vrijwel onzichtbaar materiaal in latere documenten plaatsen. Sommige berichten verwezen gekscherend naar de oprichter van de tegenpartij, een SpongeBob SquarePants-video en een regel gericht aan iedereen die de verborgen tekst zou kunnen zien. Elliott zei dat deze toevoegingen grappen waren en geen verdere pogingen om AI te beïnvloeden. Spader beschouwde de voortdurende verzwijging als bewijs dat het oorspronkelijke gedrag opzettelijk was. De rechter verbood Elliott om de zaak elektronisch in te dienen, maar stond hem toe door te gaan met procederen en AI te gebruiken om de dossiers voor te bereiden. Het afdrukken van de documenten zou de verborgen digitale tekst verwijderen uit het archiveringsproces dat in het rapport wordt beschreven.
Waarom het ertoe doet
De zaak is een concreet voorbeeld van de snelle injectie die van AI-demonstraties overgaat in een juridisch proces. Het rapport zegt dat de rechterlijke macht van Connecticut geen AI-systeem gebruikte om dossiers te beoordelen, en er zijn geen aanwijzingen dat de verborgen instructie de uitkomst van de zaak heeft veranderd. Maar deelnemers aan de rechtbank, advocaten en juridische onderzoekers gebruiken AI steeds vaker om documenten samen te vatten, dossiers te beoordelen en argumenten voor te bereiden, waardoor potentiële routes worden gecreëerd voor verborgen instructies om stroomafwaartse systemen te beïnvloeden.
Bij snelle injectie gaat het doorgaans om het plaatsen van instructies in materiaal dat een AI-systeem moet lezen, met als doel het gedrag van het systeem te veranderen. De gerapporteerde tactiek is belangrijk omdat de instructie voor het menselijke publiek verborgen was terwijl deze op software was gericht. Spader typeerde het verborgen commando als een geheime communicatie met het mechanisme waarmee een zaak kon worden gelezen en gewogen. Dat onderscheid is van belang in gerechtelijke procedures, waarbij van de tegenpartijen wordt verwacht dat zij de aan de rechtbank voorgelegde argumenten zien en beantwoorden.
Uit het rapport blijkt niet dat een AI-systeem de aanvraag van Elliott daadwerkelijk heeft gelezen, de instructie heeft gevolgd of een uitspraak heeft beïnvloed. Er staat dat de in dit geval blijkbaar niet werkte. Die beperkingen zijn belangrijk: de concrete gebeurtenis is het invoegen en ontdekken van verborgen tekst, gevolgd door een sanctie, en niet een aangetoonde, door AI ondersteunde rechterlijke fout. Het rapport verifieert ook niet onafhankelijk het volledige technische gedrag van het document in verschillende softwaresystemen of scanworkflows.
Het incident illustreert een breder beveiligingsprobleem voor organisaties die niet-vertrouwde documenten in AI-systemen invoeren. Een document kan geschikt zijn voor menselijk lezen, maar toch verborgen opmaak, metagegevens of machinaal leesbare instructies bevatten die van invloed zijn op een geautomatiseerde samenvatting of assistent. In een rechtbank kan een dergelijke manipulatie een samenvatting vertekenen, prioriteit geven aan de claims van één partij, relevante context weglaten of een onnauwkeurige indruk van het document creëren. Soortgelijke risico's zouden zich kunnen voordoen bij de werving, het onderwijs, de verzekeringen en de werkprocessen bij de overheid, hoewel de voorbeelden in het rapport van deze situaties aan de rechter worden toegeschreven en hier niet onafhankelijk worden onderzocht.
De zaak scheidt ook verantwoordelijke AI-hulp van niet-beoordeelde afhankelijkheid. Spader schreef dat AI-tools waarschijnlijk onderdeel zullen blijven van het juridische werk en zei dat hij Google Gemini had gebruikt voor een werkende vertaling en Westlaw AI-tools om autoriteiten te controleren, terwijl hij de resultaten onafhankelijk verifieerde. De praktische les is niet dat rechtbanken AI moeten opgeven, maar dat ze controles nodig hebben op het gebied van herkomst, documentweergave, menselijke beoordeling en het vermogen om te reconstrueren hoe een product tot stand is gekomen. Het rapport zegt niet of Connecticut dergelijke controles heeft ingevoerd.
Interactief mechanisme: hoe het eigenlijk werkt
Ontdek interactief de onderliggende technologie achter deze ontwikkeling.
Why can ethical evaluation not be reduced to one model score?
Wat je nu moet bekijken
De centrale onbeantwoorde vraag is hoe rechtbanken digitaal ingediende documenten zullen inspecteren als de zichtbare pagina mogelijk niet alles bevat dat in het bestand is ingesloten. Het rapport identificeert geen uniform gerechtelijk beleid voor het detecteren van verborgen tekst, noch stelt het vast dat enig AI-systeem de van Elliott heeft verwerkt. Toekomstige zaken kunnen duidelijkheid scheppen over sancties, openbaarmakingsplichten, waarborgen voor documentverwerking en hoe partijen een door AI ondersteund besluit kunnen aanvechten dat mogelijk is beïnvloed door verborgen inhoud.
Rechtbanken en juridische dienstverleners hebben mogelijk procedures nodig die het weergegeven uiterlijk van een document vergelijken met de onderliggende tekst en opmaak. Mogelijke waarborgen zijn onder meer het omzetten van documenten in gestandaardiseerde formaten, het markeren van wit-op-wit tekst en niet-afdrukbare tekens, het scannen op verborgen lagen en het vereisen van menselijke beoordeling voordat door AI gegenereerde samenvattingen beslissingen beïnvloeden. De bron meldt niet dat Connecticut een van deze maatregelen heeft geïmplementeerd, dus het gebruik ervan mag niet worden aangenomen.
Toekomstige geschillen kunnen testen of verborgen instructies in strijd zijn met de bestaande regels op het gebied van openhartigheid, integriteit van dossiers, fraude of misbruik van gerechtelijke procedures, en of sancties moeten verschillen wanneer een alleen maar aanwezig is, versus wanneer deze aantoonbaar een AI-output verandert. In het geval van Elliott was de gerapporteerde sanctie het verlies van elektronische indieningsbevoegdheden in plaats van de afwijzing van de rechtszaak. Het rapport biedt geen breder precedent en geeft ook niet aan of tegen de uitspraak beroep is aangetekend.
Een belangrijke verificatievraag zal zijn of een rechtbank, partij of verkoper kan aantonen dat een AI-systeem de verborgen tekst heeft verwerkt. Het door de Connecticut Judicial Branch gerapporteerde gebrek aan een AI-registratiesysteem beperkt de onmiddellijke claim, maar advocaten en procederende partijen kunnen tools van derden gebruiken buiten de eigen systemen van de rechtbank. Onderzoekers zouden gegevens nodig hebben van documentuploads, softwareversies, aanwijzingen, outputs en menselijke beslissingen om vast te stellen of manipulatie een resultaat heeft beïnvloed.
Het rapport suggereert dat verborgen instructies moeilijker te identificeren kunnen worden, omdat juridische workflows afhankelijk zijn van samenvattingen van documenten en geautomatiseerde beoordeling. Praktische waarborgen zullen de toegankelijkheid voor zelfvertegenwoordigde procederende partijen moeten waarborgen en tegelijkertijd moeten voorkomen dat digitale dossiers geheime opdrachten bevatten. Totdat rechtbanken duidelijkere technische en procedurele normen publiceren, blijft de omvang van het risico onzeker. Het verslag van dit artikel is gebaseerd op het Stamford Advocate-rapport zoals opnieuw gepubliceerd door GovTech en de rechtbankmaterialen en interviews die daarin worden aangehaald; de onderliggende documenten en eventuele AI-verwerkingslogboeken zijn hier niet onafhankelijk beoordeeld.