무슨 일이 일어났나요?
South Carolina Lawyers Weekly는 브라질 노동 법원 판사 Luiz Carlos de Araujo Santos Jr.가 De Barros v. De Lima 사건에서 법원의 Galileu AI 시스템이 변론에 숨겨진 지시 사항을 감지한 후 두 명의 변호사를 제재했다고 보도했습니다. 흰색 배경에 흰색으로 렌더링된 것으로 알려진 이 텍스트는 AI에게 청원에 표면적으로 이의를 제기하고 문서에 이의를 제기하지 말라고 지시했습니다. 판사는 이 행위가 절차적 불성실과 정의의 존엄성을 모독하는 행위에 해당한다고 판단했습니다. 변호사들은 의뢰인이 청구한 약 $165,000의 10%에 해당하는 공동 제재금을 지불하라는 명령을 받았으며 이 문제는 브라질 변호사 협회 및 지역 감사관에게 회부되었습니다. 법원의 의견과 보고서의 번역은 여기서 독립적으로 확인되지 않았습니다.
South Carolina Lawyers Weekly는 이 사건이 브라질 법에 따라 등록되지 않은 고용 관계로 의심되는 고용주를 고소한 원고와 관련이 있다고 보도했습니다. 원고는 미지급 임금, 초과 근무 수당, 위험 수당 및 퇴직금을 포함하여 손해 배상과 법정 벌금을 청구했으며 총 청구 금액은 미화로 약 165,000달러입니다. 피고 고용주는 불이행을 했습니다. 기사에서는 고소장에 은폐된 지시를 삽입한 사람이 원고의 변호사 두 명임을 확인했습니다.
보고서에 따르면 법원이 개발한 갈릴루 시스템은 고소장을 처리하는 과정에서 숨겨진 텍스트를 발견했다. 보고된 지침은 AI에 직접적으로 전달되었습니다. 시스템은 주어진 명령에 관계없이 청원에 표면적으로 이의를 제기하고 문서에 이의를 제기하지 말라고 지시했습니다. 변호사들은 흰색 배경에 흰색 글꼴로 텍스트 형식을 지정하여 일반적인 보기 조건에서 인간 독자가 볼 수 없도록 만들었다고 합니다. 보고서는 이를 법원의 사건 기록이나 서류 작업 흐름에 사용되는 AI 시스템을 겨냥한 즉각적인 주입 시도로 제시합니다.
보고서에 따르면 Luiz Carlos de Araujo Santos Jr. 판사는 숨겨진 명령이 합법적인 의뢰인 대표와 관련이 없으며 사법 활동의 무결성에 대한 공격이라고 결론지었습니다. 재판부는 절차상 불성실과 정의의 존엄성을 모독한 점을 인정한 것으로 알려졌다. 그는 의뢰인이 청구한 금액의 10%에 해당하는 제재를 가해 변호사들이 공동 책임을 지게 하고 이 문제를 브라질 변호사 협회와 지역 감사관실에 회부했습니다. 소식통은 판사가 청구 금액의 최대 20%까지 제재를 가할 수 있었다고 말했습니다.
해당 기사는 의견의 영어 번역을 인용했지만 제공된 자료에는 법원 문서 원본이 포함되어 있지 않았습니다. 따라서 Galileu의 존재와 능력, 숨겨진 프롬프트의 정확한 표현, 제재 및 추천을 포함하여 보고된 사실은 이 평가에서 독립적으로 검증된 사실이 아니라 South Carolina Lawyers Weekly에 귀속된 주장으로 남아 있습니다. 기사는 또한 이 사건이 변호사가 이러한 목적을 위해 탄원서에 숨겨진 메시지를 포함시킨 최초의 보고 사례라고 설명했지만, 그 구별도 마찬가지로 여기에서 독립적으로 확립되지 않았습니다.
소스 세부정보: sclawyersweekly.com ↗
왜 중요한가요?
이 사건은 AI 시스템이 이를 분석할 때 일반 법률 문서가 어떻게 공격 표면이 될 수 있는지 보여줍니다. 또한 전문적 규칙이 숨겨진 프롬프트를 명시적으로 언급하지 않는 경우에도 AI 지원 사법 절차를 조작하려는 시도에 솔직함, 정직성 및 공정성에 대한 기존 의무가 적용될 수 있음을 보여줍니다.
실질적인 의미는 신속한 주입이 챗봇이나 소프트웨어 저장소에만 국한되지 않는다는 것입니다. AI 시스템이 법적 주장, 계약서, 증거 또는 기타 제출된 자료를 읽는 경우 시스템이 데이터와 명령을 구별하도록 설계되지 않은 한 해당 자료 내부의 텍스트는 지침으로 취급될 수 있습니다. 따라서 숨겨진 지침은 인간 검토자에 대한 문서의 시각적 주장을 변경하지 않고 자동화된 요약, 분류 또는 권장 사항에 영향을 주려고 할 수 있습니다.
South Carolina Lawyers Weekly는 매사추세츠 지방 법원의 Brian D. Palmucci 판사의 말을 인용하여 AI가 변호사의 전문적 의무를 감소시키지 않으며 기술 역량과 관련된 추가 의무를 창출할 수 있다고 말했습니다. 이 기사는 또한 이 행위를 모델을 속여 신고자와 동의하도록 함으로써 일반적인 사법 추론을 우회하려는 시도로 규정한 IP 변호사 Timothy V. Fisher의 말을 인용했습니다. 이는 명시된 출처의 평가이지 다른 국가 법원에 대한 독립적인 법적 판결이 아닙니다.
보고된 제재는 AI 지원 프로세스 조작을 단순히 기술적 악용이 아닌 사법 무결성의 문제로 취급하기 때문에 중요합니다. 법원은 결정에 대한 인간의 책임을 유지하면서 행정 또는 분석 작업을 위해 AI에 의존할 수 있습니다. 그러나 당사자들이 비밀리에 시스템의 중간 출력을 형성할 수 있는 경우 판사나 서기가 결과를 보기 전에 법원의 프로세스가 왜곡될 수 있습니다. 따라서 이 사건은 관리 연속성, 감사 로그, 문서 렌더링 및 인적 검토에 대한 의문을 제기합니다.
이 보고서는 갈릴레오가 실제로 사법 결정을 변경했거나, 사건 기록을 변경했거나, 호의적인 권고안을 작성했다는 사실을 입증하지 못했습니다. 이는 법원이 발견하고 승인한 내용만을 명시합니다. 또한 해당 기술이 작동했는지, 시스템이 이를 어떻게 감지했는지 또는 다른 파일이 영향을 받았는지 여부도 표시되지 않습니다. 이러한 제한 사항은 중요합니다. 성공적인 감지 및 징계 대응은 노출과 책임을 입증하지만 법률 시스템에 숨겨진 프롬프트의 확산이나 실제 성공률을 측정하지는 않습니다.
대화형 메커니즘: 실제로 작동하는 방식
이 개발의 이면에 있는 기본 기술을 대화식으로 살펴보세요.
Why can ethical evaluation not be reduced to one model score?
다음에 무엇을 볼 것인가
법원과 규제 기관은 AI 지원 검토를 위해 제출된 서류에 기술적 보호 장치, 공개 규칙 또는 추가 인증이 필요한지 여부를 명확히 할 수 있습니다. 해결되지 않은 질문에는 법원이 제출을 처리하기 위해 생성 AI를 얼마나 광범위하게 사용하는지, 갈릴레오가 실질적인 오류를 범했거나 예방했는지, 제재를 받은 변호사가 항소하거나 별도의 전문 징계를 받는지 여부가 포함됩니다.
AI를 사용하여 서류를 읽거나 요약하는 법원에는 제출된 문서를 실행 가능한 지침이 아닌 신뢰할 수 없는 콘텐츠로 처리하는 제어가 필요할 수 있습니다. 관련 보호 조치에는 시스템 지침에서 문서 텍스트를 분리하고, 보이지 않는 서식을 렌더링하거나 제거하고, 모델 입력 및 출력을 기록하고, 절차적 처리에 영향을 미치는 권장 사항을 사람이 확인하도록 요구하는 것이 포함될 수 있습니다. 소식통은 갈릴레우가 이러한 통제 장치 중 어떤 것을 사용하는지, 브라질 사법부가 이를 더 광범위하게 채택했는지 여부를 밝히지 않았습니다.
기사에는 피셔가 법원 서류를 분석하기 위해 유사한 AI 도구를 공식적으로 채택한 미국 주 또는 연방 법원을 알지 못했다고 말한 내용이 인용되어 있습니다. 또한 일부 미국 사무원이 Claude, ChatGPT 또는 Gemini와 같은 생성 AI 도구를 분석이나 초안 작성에 사용하는 것으로 의심된다고 말한 John F. Weaver의 말을 인용했습니다. 이러한 의견은 전문가의 추측 및 전문적인 관찰이며, 특정 법원이 그러한 시스템을 사용하고 있거나 기밀 서류가 법원에 제출되고 있다는 증거가 아닙니다.
다음 단계의 핵심은 판결의 절차 상태와 회부 결과에 대해 브라질 사법부, 원래 의견, 변호사 협회 또는 감사관의 확인이 될 것입니다. 제재를 받은 변호사들이 숨겨진 텍스트가 어떻게 삽입되었는지 설명했는지, 제재에 이의를 제기했는지, 이후 법원이 제출이나 AI 검토 절차를 변경했는지 여부도 알아두면 유용할 것입니다. 보고서에서는 이러한 세부 정보를 제공하지 않습니다.
보다 광범위한 정책 문제는 기존의 전문적 행위 규칙이 AI 중재 절차에 충분한지 여부입니다. 위버는 재판소에 대한 솔직함, 부정직, 사기, 기만, 허위 진술, 사법행정에 대한 편견에 관한 미국의 규칙을 지적하면서도 숨겨진 AI 지시 사항을 구체적으로 언급하지 않는다는 점을 인정했습니다. 향후 사례에서는 프롬프트 삽입, 보이지 않는 텍스트, 조작된 메타데이터 및 자동화 시스템에 영향을 미치려는 기타 시도에 이러한 일반 규칙이 어떻게 적용되는지 테스트할 수 있습니다. 더 많은 기본 기록과 비교 가능한 사례가 제공될 때까지 이 사건은 널리 퍼진 사법 AI 문제의 증거라기보다는 보고된 중대한 경고로 처리되어야 합니다.