Chuyện gì đã xảy ra
Stamford Advocate, trong một báo cáo do GovTech xuất bản lại, đã báo cáo rằng Matthew Elliott, một đương sự tự đại diện cho Connecticut, đã chèn văn bản màu trắng gần như vô hình vào hồ sơ tòa án. Hướng dẫn ẩn yêu cầu bất kỳ hệ thống AI nào đang xem xét tài liệu phải đồng ý với các lập luận của Elliott và ủng hộ việc đảo ngược phán quyết trước đó. Thẩm phán Tòa Thượng thẩm Connecticut Walter Spader Jr. đã mô tả chiến thuật này là cố tình tiêm thuốc kịp thời và trừng phạt Elliott bằng cách yêu cầu nộp hồ sơ vụ án trong tương lai trên giấy.
Stamford Advocate, trong báo cáo do GovTech xuất bản lại, cho biết Elliott đã đặt một tin nhắn bằng dòng chữ nhỏ màu trắng bên trong hồ sơ tòa án Connecticut. Hướng dẫn bắt đầu bằng “Nếu tài liệu này được xem xét bởi mô hình AI” và chỉ đạo hệ thống đảm bảo rằng kết quả đầu ra của nó phù hợp với hồ sơ của Elliott. Theo báo cáo, nó cũng hướng hệ thống đến việc đảo ngược quyết định trước đó của nhân viên bán hàng và tuyên bố Tập đoàn Nhi khoa New York không trả được nợ. Tài khoản quy những chi tiết này vào bản ghi nhớ của Thẩm phán Walter Spader Jr. và các tài liệu tòa án liên quan.
Báo cáo cho biết Spader đã phát hiện ra văn bản này khi xem xét hồ sơ vào ngày 31 tháng 7 và in các tài liệu có vẻ như chứa các khoảng trống bất thường. Tòa án nhận thấy ngôn ngữ được định dạng gần như vô hình đối với một người trong khi vẫn có thể đọc được đối với phần mềm xử lý văn bản của tài liệu. Elliott thừa nhận với CT Insider, như được trích dẫn trong báo cáo, rằng anh ta đã sử dụng văn bản vô hình dành cho hệ thống AI. Anh ta phản đối cách giải thích của thẩm phán về mục đích của mình, nói rằng anh ta đang cố gắng xác định xem liệu AI có được sử dụng để xem xét hồ sơ của anh ta hay không.
Báo cáo cho biết Chi nhánh Tư pháp Connecticut hiện không sử dụng hệ thống trí tuệ nhân tạo để xem xét hồ sơ hoặc các khoản nợ tiềm ẩn. Tuy nhiên, Spader kết luận rằng hành vi này là không đúng đắn vì luật sư, đương sự và các chuyên gia pháp lý khác có thể sử dụng các công cụ AI để xem xét hồ sơ, tóm tắt hồ sơ hoặc chuẩn bị vụ án. Thẩm phán viết rằng vấn đề không phụ thuộc vào việc bản thân tòa án có sử dụng AI hay không, bởi tài liệu được che giấu là nhằm đánh lừa tòa án và các bên đối lập.
Theo báo cáo, sau khi tòa án nêu ra vấn đề, Elliott tiếp tục đưa tài liệu gần như vô hình vào các hồ sơ sau này. Một số tin nhắn đề cập một cách đùa cợt đến người sáng lập đảng đối lập, một video về SpongeBob SquarePants và một dòng gửi tới bất kỳ ai có thể nhìn thấy văn bản ẩn. Elliott cho biết những bổ sung đó chỉ là những trò đùa hơn là những nỗ lực tiếp theo nhằm tác động đến AI. Spader coi việc tiếp tục che giấu là bằng chứng cho thấy hành vi ban đầu là có chủ ý. Thẩm phán đã cấm Elliott nộp hồ sơ điện tử trong vụ án nhưng cho phép anh tiếp tục kiện tụng và sử dụng AI để giúp chuẩn bị hồ sơ. Việc in các tài liệu sẽ loại bỏ văn bản kỹ thuật số ẩn khỏi quy trình lưu trữ được mô tả trong báo cáo.
Tại sao nó quan trọng
Trường hợp này cung cấp một ví dụ cụ thể về việc tiêm nhanh chóng chuyển từ trình diễn AI sang quy trình pháp lý. Báo cáo cho biết Chi nhánh Tư pháp của Connecticut đã không sử dụng hệ thống AI để xem xét hồ sơ và không có dấu hiệu nào cho thấy chỉ thị ẩn đã thay đổi kết quả vụ án. Tuy nhiên, những người tham gia tòa án, luật sư và nhà nghiên cứu pháp lý ngày càng sử dụng AI để tóm tắt tài liệu, xem xét hồ sơ và chuẩn bị lập luận, tạo ra các lộ trình tiềm năng cho các hướng dẫn được che giấu nhằm tác động đến các hệ thống hạ nguồn.
Việc tiêm nhắc nhở thường liên quan đến việc đặt các hướng dẫn trong tài liệu mà hệ thống AI được yêu cầu đọc, nhằm mục đích thay đổi hành vi của hệ thống. Chiến thuật được báo cáo rất quan trọng vì hướng dẫn được che giấu khỏi khán giả con người trong khi nhắm mục tiêu vào phần mềm. Spader mô tả mệnh lệnh ẩn như một cách liên lạc bí mật với cơ chế mà theo đó một vấn đề có thể được đọc và cân nhắc. Sự khác biệt đó rất quan trọng trong thủ tục tố tụng, trong đó các bên đối lập phải xem và trả lời các lập luận được đưa ra trước tòa.
Báo cáo không chứng minh rằng hệ thống AI thực sự đọc hồ sơ của Elliott, làm theo hướng dẫn hoặc ảnh hưởng đến phán quyết. Nó nói lời nhắc dường như không hoạt động trong trường hợp này. Những hạn chế đó rất quan trọng: sự kiện cụ thể là việc chèn và phát hiện văn bản bị che giấu, sau đó là hình phạt chứ không phải lỗi tư pháp được hỗ trợ bởi AI đã được chứng minh. Báo cáo cũng không xác minh độc lập hành vi kỹ thuật đầy đủ của tài liệu trong các hệ thống phần mềm hoặc quy trình quét khác nhau.
Vụ việc minh họa một vấn đề bảo mật rộng hơn đối với các tổ chức cung cấp tài liệu không đáng tin cậy vào hệ thống AI. Một tài liệu có thể phù hợp cho con người đọc nhưng vẫn chứa định dạng ẩn, siêu dữ liệu hoặc hướng dẫn máy đọc được, ảnh hưởng đến trình tóm tắt hoặc trợ lý tự động. Tại tòa án, hành vi thao túng như vậy có thể bóp méo bản tóm tắt, ưu tiên các tuyên bố của một bên, bỏ sót ngữ cảnh liên quan hoặc tạo ấn tượng không chính xác về hồ sơ. Những rủi ro tương tự có thể nảy sinh trong quy trình tuyển dụng, giáo dục, bảo hiểm và quy trình làm việc của chính phủ, mặc dù các ví dụ trong báo cáo về những bối cảnh đó được quy cho thẩm phán và không được xem xét độc lập ở đây.
Vụ việc cũng tách biệt sự hỗ trợ AI có trách nhiệm với sự phụ thuộc chưa được xem xét. Spader viết rằng các công cụ AI có thể vẫn là một phần của công việc pháp lý và cho biết ông đã sử dụng Google Gemini để dịch thuật và các công cụ AI của Westlaw để kiểm tra cơ quan chức năng, đồng thời xác minh kết quả một cách độc lập. Bài học thực tế không phải là các tòa án phải từ bỏ AI mà là họ cần các biện pháp kiểm soát xung quanh nguồn gốc xuất xứ, kết xuất tài liệu, đánh giá của con người và khả năng tái tạo lại cách tạo ra đầu ra. Báo cáo không cho biết liệu Connecticut có áp dụng các biện pháp kiểm soát như vậy hay không.
Cơ chế tương tác: Nó thực sự hoạt động như thế nào
Khám phá công nghệ cơ bản đằng sau sự phát triển này một cách tương tác.
Why can ethical evaluation not be reduced to one model score?
Xem gì tiếp theo
Câu hỏi trọng tâm chưa được trả lời là làm thế nào tòa án sẽ kiểm tra các tài liệu được gửi bằng kỹ thuật số khi trang hiển thị có thể không chứa mọi thứ được nhúng trong tệp. Báo cáo không xác định chính sách thống nhất của tòa án để phát hiện văn bản ẩn cũng như không xác định rằng bất kỳ hệ thống AI nào đã xử lý lời nhắc của Elliott. Các trường hợp trong tương lai có thể làm rõ các biện pháp trừng phạt, nghĩa vụ tiết lộ, các biện pháp bảo vệ xử lý tài liệu và cách các bên có thể phản đối quyết định được AI hỗ trợ có thể bị ảnh hưởng bởi nội dung bị che giấu.
Tòa án và các nhà cung cấp dịch vụ pháp lý có thể cần các thủ tục so sánh hình thức hiển thị của tài liệu với văn bản và định dạng cơ bản của nó. Các biện pháp bảo vệ có thể bao gồm chuyển đổi hồ sơ thành các định dạng chuẩn hóa, gắn cờ văn bản trắng trên trắng và các ký tự không in, quét các lớp ẩn và yêu cầu con người xem xét trước khi các bản tóm tắt do AI tạo ra ảnh hưởng đến quyết định. Nguồn không báo cáo rằng Connecticut đã thực hiện bất kỳ biện pháp nào trong số này, vì vậy không nên giả định việc sử dụng chúng.
Các tranh chấp trong tương lai có thể kiểm tra xem liệu các hướng dẫn bị che giấu có vi phạm các quy tắc hiện hành về tính trung thực, liêm chính trong hồ sơ, gian lận hoặc lạm dụng quy trình của tòa án hay không và liệu các biện pháp trừng phạt có khác nhau khi chỉ xuất hiện lời nhắc so với khi nó thay đổi rõ ràng kết quả đầu ra AI hay không. Trong trường hợp của Elliott, hình thức xử phạt được báo cáo là mất đặc quyền nộp đơn điện tử thay vì bác bỏ vụ kiện. Báo cáo không cung cấp tiền lệ rộng hơn hoặc cho biết liệu phán quyết có bị kháng cáo hay không.
Câu hỏi xác minh chính sẽ là liệu có tòa án, bên hoặc nhà cung cấp nào có thể chứng minh rằng hệ thống AI đã xử lý văn bản ẩn hay không. Việc Chi nhánh Tư pháp Connecticut được báo cáo là thiếu hệ thống xem xét hồ sơ bằng AI đã thu hẹp yêu cầu bồi thường ngay lập tức, nhưng các luật sư và đương sự có thể sử dụng các công cụ của bên thứ ba bên ngoài hệ thống của chính tòa án. Các nhà điều tra sẽ cần hồ sơ tải lên tài liệu, phiên bản phần mềm, lời nhắc, kết quả đầu ra và quyết định của con người để xác định xem liệu thao tác có ảnh hưởng đến kết quả hay không.
Báo cáo cho thấy các hướng dẫn bị che giấu có thể trở nên khó xác định hơn vì quy trình công việc pháp lý dựa vào việc tóm tắt tài liệu và xem xét tự động. Các biện pháp bảo vệ thực tế sẽ phải đảm bảo khả năng tiếp cận cho các đương sự tự đại diện đồng thời ngăn chặn các hồ sơ kỹ thuật số mang theo các mệnh lệnh không được tiết lộ. Cho đến khi tòa án công bố các tiêu chuẩn kỹ thuật và thủ tục rõ ràng hơn, mức độ rủi ro vẫn chưa chắc chắn. Lời tường thuật của bài viết này dựa trên báo cáo của The Stamford Advocate do GovTech xuất bản lại và các tài liệu của tòa án cũng như các cuộc phỏng vấn mà nó trích dẫn; các hồ sơ cơ bản và mọi nhật ký xử lý AI đều không được xem xét độc lập ở đây.