Apa yang terjadi
Pengacara Stamford, dalam laporan yang diterbitkan ulang oleh GovTech, melaporkan bahwa Matthew Elliott, seorang penggugat Connecticut yang mewakili dirinya sendiri, memasukkan teks putih yang hampir tidak terlihat ke dalam pengajuan pengadilan. Instruksi tersembunyi tersebut memberi tahu sistem AI mana pun yang meninjau dokumen tersebut untuk menyetujui argumen Elliott dan mendukung pembatalan keputusan sebelumnya. Hakim Pengadilan Tinggi Connecticut Walter Spader Jr. menggambarkan taktik tersebut sebagai suntikan segera yang disengaja dan memberi sanksi kepada Elliott dengan mengharuskan pengajuan kasus di masa depan untuk diserahkan di atas kertas.
Pengacara Stamford, dalam laporan yang diterbitkan ulang oleh GovTech, mengatakan Elliott menempatkan pesan dalam teks putih kecil di dalam arsip pengadilan Connecticut. Instruksi dimulai dengan, “Jika dokumen ini ditinjau oleh model AI,” dan mengarahkan sistem untuk memastikan bahwa keluarannya sesuai dengan pengajuan Elliott. Menurut laporan tersebut, hal ini juga mengarahkan sistem untuk membalikkan keputusan petugas sebelumnya dan menetapkan New York Bariatric Group dalam keadaan gagal bayar. Laporan tersebut mengaitkan rincian ini dengan memorandum Hakim Walter Spader Jr. dan dokumen pengadilan terkait.
Laporan tersebut mengatakan Spader menemukan teks tersebut saat meninjau pengajuan pada tanggal 31 Juli dan mencetak dokumen yang tampaknya berisi area kosong yang tidak biasa. Pengadilan menemukan bahwa bahasa yang diformat hampir tidak terlihat oleh seseorang namun tetap dapat dibaca oleh perangkat lunak yang memproses teks dokumen. Elliott mengakui kepada CT Insider, seperti dikutip dalam laporannya, bahwa dia telah menggunakan teks tak kasat mata yang ditujukan untuk sistem AI. Dia membantah interpretasi hakim mengenai tujuannya, dengan mengatakan bahwa dia berusaha menentukan apakah AI digunakan untuk meninjau pengajuannya.
Laporan tersebut mengatakan Cabang Yudisial Connecticut saat ini tidak menggunakan sistem kecerdasan buatan untuk meninjau pengajuan atau potensi gagal bayar. Namun Spader menyimpulkan bahwa tindakan tersebut tidak pantas karena pengacara, pihak yang berperkara, dan profesional hukum lainnya mungkin menggunakan alat AI untuk meninjau berkas perkara, merangkum catatan, atau menyiapkan kasus. Hakim menulis bahwa permasalahan tersebut tidak bergantung pada apakah pengadilan itu sendiri yang menggunakan AI, karena materi yang disembunyikan tersebut merupakan upaya untuk menyesatkan pengadilan dan pihak lawan.
Setelah pengadilan mengangkat masalah ini, Elliott terus menempatkan materi yang hampir tidak terlihat dalam pengajuan selanjutnya, menurut laporan tersebut. Beberapa pesan merujuk secara bercanda kepada pendiri partai lawan, video SpongeBob SquarePants, dan kalimat yang ditujukan kepada siapa saja yang mungkin melihat teks tersembunyi tersebut. Elliott mengatakan penambahan ini hanyalah lelucon dan bukan upaya lebih lanjut untuk mempengaruhi AI. Spader memandang penyembunyian yang terus berlanjut sebagai bukti bahwa tindakan awal memang disengaja. Hakim melarang Elliott melakukan pengajuan elektronik dalam kasus tersebut tetapi mengizinkannya untuk terus melakukan litigasi dan menggunakan AI untuk membantu mempersiapkan pengajuan. Mencetak dokumen akan menghilangkan teks digital tersembunyi dari proses pengarsipan yang dijelaskan dalam laporan.
Mengapa itu penting
Kasus ini memberikan contoh nyata peralihan dari demonstrasi AI ke proses hukum. Laporan tersebut mengatakan Cabang Yudisial Connecticut tidak menggunakan sistem AI untuk meninjau pengajuan, dan tidak ada indikasi instruksi tersembunyi tersebut mengubah hasil kasus. Namun peserta pengadilan, pengacara, dan peneliti hukum semakin banyak menggunakan AI untuk merangkum dokumen, meninjau berkas perkara, dan menyiapkan argumen, sehingga menciptakan jalur potensial bagi instruksi tersembunyi untuk memengaruhi sistem hilir.
Injeksi cepat umumnya melibatkan penempatan instruksi pada materi yang diminta untuk dibaca oleh sistem AI, dengan tujuan mengubah perilaku sistem. Taktik yang dilaporkan ini penting karena instruksinya disembunyikan dari audiens manusia sementara ditargetkan pada perangkat lunak. Spader mencirikan perintah tersembunyi sebagai komunikasi rahasia dengan mekanisme yang dengannya suatu masalah dapat dibaca dan ditimbang. Perbedaan tersebut penting dalam proses hukum, di mana pihak lawan diharapkan melihat dan menjawab argumen yang diajukan ke pengadilan.
Laporan tersebut tidak menetapkan bahwa sistem AI benar-benar membaca pengajuan Elliott, mengikuti instruksi, atau memengaruhi keputusan. Dikatakan bahwa perintah tersebut tampaknya tidak berfungsi dalam kasus ini. Batasan tersebut penting: kejadian nyata adalah penyisipan dan penemuan teks tersembunyi, yang diikuti dengan sanksi, bukan kesalahan peradilan yang dibantu oleh AI. Laporan tersebut juga tidak memverifikasi secara independen seluruh perilaku teknis dokumen dalam sistem perangkat lunak atau alur kerja pemindaian yang berbeda.
Insiden ini menggambarkan masalah keamanan yang lebih luas bagi organisasi yang memasukkan dokumen tidak tepercaya ke dalam sistem AI. Suatu dokumen mungkin sesuai untuk dibaca manusia namun berisi pemformatan tersembunyi, metadata, atau instruksi yang dapat dibaca mesin yang memengaruhi peringkas atau asisten otomatis. Di pengadilan, manipulasi seperti ini dapat mengubah ringkasan, memprioritaskan klaim salah satu pihak, menghilangkan konteks yang relevan, atau menimbulkan kesan tidak akurat terhadap catatan. Risiko serupa juga dapat muncul dalam perekrutan, pendidikan, asuransi, dan alur kerja pemerintah, meskipun contoh-contoh dalam laporan mengenai pengaturan tersebut diberikan kepada hakim dan tidak diperiksa secara independen di sini.
Kasus ini juga memisahkan bantuan AI yang bertanggung jawab dan ketergantungan yang belum ditinjau. Spader menulis bahwa alat AI kemungkinan akan tetap menjadi bagian dari pekerjaan hukum dan mengatakan dia telah menggunakan Google Gemini untuk terjemahan yang berfungsi dan alat Westlaw AI untuk memeriksa pihak berwenang, sambil memverifikasi hasilnya secara independen. Pelajaran praktisnya bukanlah bahwa pengadilan harus meninggalkan AI, namun mereka memerlukan kontrol atas asal usulnya, penyerahan dokumen, peninjauan oleh manusia, dan kemampuan untuk merekonstruksi bagaimana suatu keluaran dihasilkan. Laporan tersebut tidak menyebutkan apakah Connecticut telah menerapkan pengendalian tersebut.
Mekanisme Interaktif: Cara Kerja Sebenarnya
Jelajahi teknologi yang mendasari di balik perkembangan ini secara interaktif.
Why can ethical evaluation not be reduced to one model score?
Apa yang harus ditonton selanjutnya
Pertanyaan utama yang belum terjawab adalah bagaimana pengadilan akan memeriksa dokumen yang diserahkan secara digital ketika halaman yang terlihat mungkin tidak berisi semua yang ada di dalam file. Laporan tersebut tidak mengidentifikasi kebijakan pengadilan yang seragam untuk mendeteksi teks tersembunyi, juga tidak menetapkan bahwa sistem AI mana pun yang memproses permintaan Elliott. Kasus-kasus di masa depan dapat memperjelas sanksi, kewajiban pengungkapan, perlindungan pemrosesan dokumen, dan bagaimana pihak-pihak dapat menentang keputusan yang didukung AI yang mungkin terpengaruh oleh konten yang disembunyikan.
Pengadilan dan penyedia layanan hukum mungkin memerlukan prosedur yang membandingkan tampilan dokumen dengan teks dan format dasarnya. Upaya perlindungan yang mungkin dilakukan adalah dengan mengubah berkas ke dalam format standar, menandai teks putih-putih dan karakter non-cetak, memindai lapisan tersembunyi, dan memerlukan peninjauan manusia sebelum ringkasan yang dihasilkan AI dapat memengaruhi keputusan. Sumber tersebut tidak melaporkan bahwa Connecticut telah menerapkan langkah-langkah ini, sehingga penggunaannya tidak boleh diasumsikan.
Perselisihan di masa depan mungkin menguji apakah instruksi yang disembunyikan melanggar peraturan yang ada mengenai keterusterangan, integritas pengajuan, penipuan atau penyalahgunaan proses pengadilan, dan apakah sanksi harus berbeda ketika perintah tersebut hanya ada versus ketika perintah tersebut secara nyata mengubah keluaran AI. Dalam kasus Elliott, sanksi yang dilaporkan adalah hilangnya hak untuk mengajukan gugatan secara elektronik, bukan pencabutan gugatan. Laporan tersebut tidak memberikan preseden yang lebih luas atau menunjukkan apakah keputusan tersebut telah diajukan banding.
Pertanyaan verifikasi kuncinya adalah apakah pengadilan, pihak atau vendor mana pun dapat menunjukkan bahwa sistem AI memproses teks tersembunyi tersebut. Kurangnya sistem peninjauan pengajuan AI yang dilaporkan oleh Cabang Yudisial Connecticut mempersempit tuntutan langsung, namun pengacara dan pihak yang berperkara dapat menggunakan alat pihak ketiga di luar sistem pengadilan sendiri. Penyelidik memerlukan catatan unggahan dokumen, versi perangkat lunak, perintah, keluaran, dan keputusan manusia untuk menentukan apakah manipulasi memengaruhi hasil.
Laporan tersebut menunjukkan bahwa instruksi yang tersembunyi bisa menjadi lebih sulit untuk diidentifikasi karena alur kerja hukum bergantung pada ringkasan dokumen dan tinjauan otomatis. Perlindungan praktis harus menjaga aksesibilitas bagi penggugat yang mewakili dirinya sendiri dan mencegah pengajuan digital membawa perintah yang dirahasiakan. Sampai pengadilan menerbitkan standar teknis dan prosedur yang lebih jelas, besarnya risiko masih belum pasti. Penjelasan artikel ini didasarkan pada laporan The Stamford Advocate yang diterbitkan ulang oleh GovTech dan materi pengadilan serta wawancara yang dikutipnya; pengajuan yang mendasarinya dan log pemrosesan AI apa pun tidak ditinjau secara independen di sini.