무슨 일이 일어났나요?
GovTech가 재발행한 보고서에서 Stamford Advocate는 코네티컷의 소송 당사자인 Matthew Elliott가 법원 서류에 거의 눈에 띄지 않는 흰색 텍스트를 삽입했다고 보고했습니다. 숨겨진 명령은 문서를 검토하는 모든 AI 시스템에 Elliott의 주장에 동의하고 이전 판결을 뒤집는 것을 지지하도록 지시했습니다. 코네티컷 주 고등법원 판사인 월터 스페이더 주니어(Walter Spader Jr.)는 이 전술을 고의적이고 즉각적으로 주입한 것이라고 설명하고 향후 소송 서류를 종이로 제출하도록 요구함으로써 엘리엇을 제재했습니다.
GovTech가 재발행한 보고서에서 Stamford Advocate는 Elliott가 코네티컷 법원 서류 안에 작은 흰색 텍스트로 메시지를 넣었다고 말했습니다. 명령은 "이 문서가 AI 모델에 의해 검토된다면"으로 시작하여 출력이 엘리엇의 제출 내용과 일치하는지 확인하도록 시스템에 지시했습니다. 보고서에 따르면, 이는 또한 점원의 이전 결정을 뒤집고 뉴욕 비만 그룹(New York Bariatric Group)이 불이행 상태임을 찾는 방향으로 시스템을 조정했습니다. 이 계정은 이러한 세부 정보를 Walter Spader Jr. 판사의 각서 및 관련 법원 문서에 귀속시킵니다.
보고서는 스페이더가 7월 31일 서류를 검토하고 특이한 공백 영역이 포함된 것으로 보이는 문서를 인쇄하는 동안 해당 텍스트를 발견했다고 밝혔습니다. 법원은 문서의 텍스트를 처리하는 소프트웨어에서는 읽을 수 있으면서도 사람에게는 거의 보이지 않는 형식의 언어를 발견했습니다. Elliott는 보고서에 인용된 대로 CT Insider에 AI 시스템용으로 보이지 않는 텍스트를 사용했음을 인정했습니다. 그는 자신의 서류를 검토하는 데 AI가 사용되는지 여부를 판단하려고 시도하고 있다고 말하면서 자신의 목적에 대한 판사의 해석에 이의를 제기했습니다.
보고서는 코네티컷 사법부가 현재 서류 제출이나 잠재적 불이행을 검토하기 위해 인공지능 시스템을 사용하지 않고 있다고 밝혔다. 그럼에도 불구하고 Spader는 변호사, 소송 당사자 및 기타 법률 전문가가 AI 도구를 사용하여 사건 기록을 검토하고 기록을 요약하거나 사건을 준비할 수 있기 때문에 해당 행위가 부적절하다고 결론지었습니다. 판사는 은폐된 자료가 법원과 상대방을 호도하려는 시도였기 때문에 법원 자체가 AI를 활용했는지 여부에 따라 문제가 달라지지 않는다고 썼다.
보고서에 따르면 법원이 문제를 제기한 후에도 엘리엇은 이후 제출 서류에 거의 눈에 띄지 않는 자료를 계속 배치했습니다. 일부 메시지에는 농담으로 야당 창당자, 스폰지밥 네모바지 영상, 숨겨진 텍스트를 볼 수 있는 사람에게 보내는 대사 등이 언급됐다. 엘리엇은 이러한 추가가 AI에 영향을 미치려는 추가 시도라기보다는 농담이었다고 말했습니다. 스페이더는 계속되는 은폐를 원래의 행위가 고의적이었다는 증거로 여겼다. 판사는 엘리엇이 사건의 전자 제출을 금지했지만, 소송을 계속하고 서류 준비를 돕기 위해 AI를 사용할 수 있도록 허용했습니다. 문서를 인쇄하면 보고서에 설명된 파일링 프로세스에서 숨겨진 디지털 텍스트가 제거됩니다.
왜 중요한가요?
이 사례는 AI 시연에서 법적 절차로 즉각적인 주입이 진행되는 구체적인 예를 제공합니다. 보고서에 따르면 코네티컷 주 사법부는 서류 검토에 AI 시스템을 사용하지 않았으며 숨겨진 지시가 사건 결과를 바꾸었다는 징후는 없습니다. 그러나 법원 참가자, 변호사 및 법률 연구원은 점점 더 AI를 사용하여 문서를 요약하고, 사건 기록을 검토하고, 주장을 준비하고, 숨겨진 지침이 다운스트림 시스템에 영향을 미칠 수 있는 잠재적인 경로를 만들고 있습니다.
프롬프트 주입은 일반적으로 시스템 동작을 변경할 목적으로 AI 시스템이 읽어야 하는 자료에 지침을 배치하는 것을 포함합니다. 보고된 전술은 소프트웨어를 대상으로 한 명령이 청중에게 숨겨졌기 때문에 중요합니다. Spader는 숨겨진 명령을 문제를 읽고 무게를 측정할 수 있는 메커니즘에 대한 비밀 통신으로 특징지었습니다. 이러한 구별은 상대방이 법원에 제출된 주장을 보고 답변해야 하는 법적 절차에서 중요합니다.
이 보고서는 AI 시스템이 실제로 엘리엇의 서류를 읽고, 지시를 따르거나 판결에 영향을 미쳤다는 사실을 입증하지 못했습니다. 이 경우 프롬프트가 작동하지 않은 것 같습니다. 이러한 제한은 중요합니다. 구체적인 사건은 AI 지원 사법 오류를 입증하는 것이 아니라 숨겨진 텍스트를 삽입하고 발견한 후 제재를 받는 것입니다. 또한 보고서는 다양한 소프트웨어 시스템이나 스캐닝 작업 흐름에서 문서의 전체 기술 동작을 독립적으로 확인하지 않습니다.
이 사건은 신뢰할 수 없는 문서를 AI 시스템에 공급하는 조직의 광범위한 보안 문제를 보여줍니다. 문서는 사람이 읽기에 적합할 수 있지만 자동 요약기나 보조자에 영향을 미치는 숨겨진 서식, 메타데이터 또는 기계 판독 가능 지침을 포함할 수 있습니다. 법원에서 그러한 조작은 요약을 왜곡하거나, 한쪽 당사자의 주장에 우선순위를 두거나, 관련 맥락을 생략하거나, 기록에 대해 부정확한 인상을 줄 수 있습니다. 채용, 교육, 보험 및 정부 업무 흐름에서도 유사한 위험이 발생할 수 있습니다. 단, 보고서의 해당 설정 예시는 판사의 것으로 간주되며 여기에서 독립적으로 검토되지는 않습니다.
이 사례는 또한 책임 있는 AI 지원과 검토되지 않은 의존을 분리합니다. Spader는 AI 도구가 법적 업무의 일부로 남을 가능성이 높다고 썼으며 작업 번역에는 Google Gemini를 사용했고, 권위를 확인하기 위해 Westlaw AI 도구를 사용했으며 결과를 독립적으로 검증했다고 말했습니다. 실질적인 교훈은 법원이 AI를 포기해야 한다는 것이 아니라 출처, 문서 렌더링, 인적 검토 및 출력이 생성된 방식을 재구성하는 능력에 대한 통제가 필요하다는 것입니다. 보고서는 코네티컷이 그러한 통제를 채택했는지 여부를 밝히지 않았습니다.
대화형 메커니즘: 실제로 작동하는 방식
이 개발의 이면에 있는 기본 기술을 대화식으로 살펴보세요.
Why can ethical evaluation not be reduced to one model score?
다음에 무엇을 볼 것인가
대답되지 않은 핵심 질문은 눈에 보이는 페이지에 파일에 포함된 모든 내용이 포함되어 있지 않을 때 법원이 디지털로 제출된 문서를 어떻게 검사하는지입니다. 이 보고서는 숨겨진 텍스트를 탐지하기 위한 통일된 법원 정책을 식별하지 않으며 AI 시스템이 엘리엇의 메시지를 처리했다는 사실도 입증하지 않습니다. 향후 사례에서는 제재, 공개 의무, 문서 처리 보호 조치 및 숨겨진 콘텐츠로 인해 영향을 받았을 수 있는 AI 지원 결정에 당사자가 이의를 제기할 수 있는 방법을 명확히 할 수 있습니다.
법원과 법률 서비스 제공업체에는 문서의 렌더링된 모양을 기본 텍스트 및 서식과 비교하는 절차가 필요할 수 있습니다. 가능한 보호 조치에는 파일을 표준화된 형식으로 변환하고, 흰색 바탕에 흰색 텍스트와 인쇄되지 않는 문자를 표시하고, 숨겨진 레이어를 검색하고, AI 생성 요약이 결정에 영향을 미치기 전에 사람의 검토를 요구하는 것이 포함됩니다. 소식통은 코네티컷이 이러한 조치를 구현했다고 보고하지 않았으므로 해당 조치의 사용을 가정해서는 안됩니다.
향후 분쟁에서는 숨겨진 지시가 솔직함, 제출 무결성, 사기 또는 법원 절차 남용에 대한 기존 규칙을 위반하는지 여부, 프롬프트가 단순히 존재할 때와 AI 결과를 명백히 변경할 때 제재가 달라야 하는지 여부를 테스트할 수 있습니다. 엘리엇의 경우 신고된 제재는 소송 기각이 아닌 전자 신고 권한 상실이었다. 보고서는 더 광범위한 선례를 제공하지 않으며 판결에 대한 항소 여부도 명시하지 않습니다.
핵심 확인 질문은 법원, 당사자 또는 공급업체가 AI 시스템이 숨겨진 텍스트를 처리했음을 보여줄 수 있는지 여부입니다. 코네티컷 사법부의 보고에 따르면 AI 제출 검토 시스템이 부족하여 즉각적인 청구 범위가 좁아지지만 변호사와 소송 당사자는 법원 자체 시스템 외부에서 제3자 도구를 사용할 수 있습니다. 조사관은 조작이 결과에 영향을 미쳤는지 여부를 확인하기 위해 문서 업로드, 소프트웨어 버전, 프롬프트, 출력 및 사람의 결정에 대한 기록이 필요합니다.
보고서는 법적 작업 흐름이 문서 요약 및 자동화된 검토에 의존하기 때문에 숨겨진 지침을 식별하기가 더 어려워질 수 있다고 제안합니다. 실질적인 보호 장치는 디지털 파일이 공개되지 않은 명령을 전달하는 것을 방지하는 동시에 자기 대표 소송 당사자의 접근성을 유지해야 합니다. 법원이 보다 명확한 기술 및 절차 표준을 발표할 때까지 위험의 정도는 여전히 불확실합니다. 이 기사의 설명은 GovTech에서 재출판한 The Stamford Advocate 보고서와 여기에 인용된 법원 자료 및 인터뷰를 기반으로 합니다. 기본 서류 및 AI 처리 로그는 여기에서 독립적으로 검토되지 않았습니다.