연구에 따르면 다중 에이전트 AI 안전은 단순한 규칙이 아닌 출처에 달려 있습니다.

무슨 일이 일어났나요?

POLIS 연구 프로그램의 새로운 arXiv 사전 인쇄물은 AI 에이전트가 조직을 대신하여 작업을 위임하고, 정보를 이동하고, 도구를 호출함에 따라 더욱 중요해지는 질문을 테스트합니다. 시스템이 해당 규칙 뒤에 있는 권한이 어디서 왔는지 알 수 없는 경우 안전 규칙이 작동합니까? 동결된 5,280개의 에피소드로 구성된 연구 모음에서 저자는 거버넌스 규칙, 실행 가능한 가드가 참조한 권한 상태, 내부 폴백의 매력, 차단된 워크플로가 계속될 수 있는지 여부를 다양하게 검토했습니다. 결과는 제어된 다중 에이전트 워크플로우에 대한 연구이며, 배포된 제품에 사고가 발생했다는 증거는 아닙니다.

주요 위임 실험은 4개의 모델군에 걸쳐 있으며, 대상이 높은 충돌 진단을 통해 3개의 모델 엔드포인트를 더 추가합니다. 에이전트는 결정론적 시스템이 실행되는 작업과 결과 상태가 정책을 위반하는지 여부를 결정하는 구조화된 환경에서 작동합니다. 이 설계를 통해 연구원들은 금지된 제안과 실현된 위반을 분리한 다음, 행동 경계에 개입하는 실행 가능한 가드와 상세한 헌법 프롬프트를 비교할 수 있습니다.

이 신문은 헌법 프롬프트가 365개의 규정 준수 완료와 함께 384개의 에피소드에서 실현된 위반 사항을 전혀 발생시키지 않았다고 보고합니다. 가시적인 로컬 정책 상태를 참조한 로컬 실행 가드는 동일한 규모의 조건에서 22건의 위반, 즉 5.7%를 생성했습니다. 출처를 인식하는 실행 가능한 가드는 실현된 위반이 전혀 발생하지 않았지만 51개의 금지된 시도를 차단했습니다. 그 중 44개의 에피소드는 나중에 안전하게 완료되었습니다. 그림은 언어 모델의 보편적인 안전율이 아니라 이 실험의 구조화된 조건을 설명합니다.

일치하는 정책 세탁 시나리오에서 가장 뚜렷한 차이가 나타났습니다. 일반적인 변환을 통해 원래 권한은 변경되지 않은 채 지역 경비원에게 표시되는 정책이 변경되었습니다. 해당 조건에서 지방 주 경비대는 96개 에피소드 중 22개 에피소드에서 위반 사항을 인정한 반면 출처 집행 기관은 아무것도 인정하지 않았으며 보고서에서는 p = 4.77 × 10⁻⁷을 보고했습니다. 이 메커니즘은 에이전트가 모든 가드레일을 우회할 수 있다는 주장보다 좁습니다. 이는 집행 계층이 신뢰하는 상태가 결과를 변경할 수 있음을 보여주는 것입니다.

별도의 리소스 할당 실험에서는 동일한 한도의 수치를 공개하면 에이전트 요청이 변경되는 것으로 나타났습니다. 저자는 이 결과를 사용하여 최종 위반 횟수가 규칙, 권한 기록, 워크플로에서 생성된 인센티브, 개입 후 사용 가능한 경로 등 다양한 메커니즘을 은폐할 수 있다고 주장합니다. 이 논문은 5개의 그림이 포함된 17페이지로 구성되어 있으며 저자는 공개 POLIS 저장소에서 코드 및 재현성 아티팩트를 사용할 수 있다고 말합니다.

소스 세부정보: POLIS multi-agent AI safety paper on arXiv ↗

왜 중요한가요?

이 연구의 실질적인 메시지는 에이전트 시스템에 대한 인증이 규칙의 최신 텍스트 표현보다 더 내구성이 있어야 한다는 것입니다. 에이전트가 데이터를 변환하거나 작업을 위임하거나 조직 경계를 넘을 수 있는 경우 현재 표시되는 상태만 확인하는 경비원은 작업이 여전히 허용되는지 결정하는 데 필요한 기록을 잃을 수 있습니다.

이러한 구별은 문서, 저장소, 고객 기록 또는 공유 도구를 처리하는 시스템에 중요합니다. 파일은 원본과 제한 사항이 변경되지 않은 상태에서 복사, 요약, 다른 개체에 래핑되거나 에이전트 간에 전달될 수 있습니다. 이후 구성 요소가 변경 가능한 레이블만 신뢰하는 경우 일반적인 변환을 통해 금지된 전송이 승인된 것처럼 보일 수 있습니다. 따라서 출처는 단순한 감사 기능이 아닙니다. 종이 세탁 조건에 있어서 이는 집행 결정의 일부입니다.

제품 및 보안 팀의 경우 아키텍처 요구 사항이 의미합니다. 권한을 부여한 사람 또는 대상, 발생한 변환, 적용한 정책, 위임이 범위를 변경했는지 여부에 대한 검사 가능한 기록을 유지해야 합니다. 여기에는 서명된 또는 추가 전용 출처, 기능 감쇠, 명시적인 경계 확인, 영향력이 큰 작업에 대한 사람의 승인이 포함될 수 있습니다. 이 문서에서는 하나의 구현을 규정하지 않지만 각 가드가 최신 파생 상태가 아닌 원본 기관에 문의하는지 여부를 테스트해야 하는 구체적인 이유를 제공합니다.

회복 결과도 똑같이 중요합니다. 시스템은 유해한 실행을 방지하고 안전한 다음 단계를 제공하지 않는 경우에도 워크플로를 사용할 수 없게 만들 수 있습니다. 보고된 출처 인식 조건에서는 대부분의 차단된 에피소드가 나중에 안전하게 완료되었으며, 이는 시행과 유용성을 함께 측정해야 함을 시사합니다. 평가에서는 모든 것을 하나의 거부 또는 위반 번호로 묶는 대신 금지된 제안, 차단된 작업, 안전한 복구, 불완전한 작업 및 사용자가 볼 수 있는 마찰을 기록해야 합니다.

상담원 안전에 대한 공개 주장에 대한 측정 강의도 있습니다. 저자는 거버넌스 조건을 직접 비교할 수 있을 만큼 모델, 작업 환경 및 행동 공간을 구조화했습니다. 이는 메커니즘을 읽기 쉽게 만들지만 개방형 생산 시스템에 대해 추론할 수 있는 내용을 제한하기도 합니다. 한 기관 설계의 벤치마크 점수는 특히 권한, 도구, 로깅 및 복구 동작이 측정 결과를 변경할 수 있는 경우 모델 단독의 속성으로 제시되어서는 안 됩니다.

다음에 무엇을 볼 것인가

다음 증거는 출처 인식 제어가 더 넓은 모델, 덜 스크립트된 작업, 권한 상태를 조작하려는 적응형 시도 및 실제 배포 제약 조건에서 살아남는지 여부를 테스트해야 합니다. 사전 인쇄는 디자인 가설과 재현 가능한 평가 방향을 뒷받침합니다. 하나의 가드 아키텍처가 다중 에이전트 안전을 해결한다는 것을 확립하지 않습니다.

독립 그룹은 출시된 아티팩트를 사용하여 POLIS 제품군을 다시 실행하고 모델 패밀리별 결과, 거버넌스 조건 및 에피소드 결과를 보고해야 합니다. 유용한 복제는 헌법 프롬프트의 표현, 변환 순서, 내부 폴백 비용 및 시행 계층에서 사용할 수 있는 정보에 따라 달라집니다. 또한 최종 실현 위반률뿐만 아니라 실패 및 아차 사고도 게시해야 합니다.

배포자는 자체 데이터 흐름에 대해 동일한 원칙을 테스트해야 합니다. 안전한 연습을 통해 요약, 추출, 도구 호출 및 에이전트 간 위임을 통해 승인된 소스의 문서를 추적한 다음 파생된 개체에 제한 사항이 그대로 적용되어 있는지 확인할 수 있습니다. 테스트에서는 취소, 만료, 권한 충돌, 재시도, 부분 실패, 원본을 변경하지 않고 콘텐츠에 라벨을 다시 지정하려는 시도 등을 다루어야 합니다. 로그는 운영자가 결정 경로를 이해할 수 있도록 해야 합니다.

향후 평가에서는 차단과 완료 사이의 균형을 조사해야 합니다. 모든 모호한 요청을 중지하는 가드는 유용한 작업을 거부하여 위반이 전혀 발생하지 않는 반면, 허용형 가드는 자동 누출을 희생하여 처리량을 보존할 수 있습니다. 유용한 측정값으로는 작업 완료, 차단된 제안 비율, 실현된 피해, 복구 시간, 인적 검토 부하, 거짓 긍정, 기본 위임이 거부될 때 에이전트가 안전한 내부 경로를 선택할 수 있는지 여부 등이 있습니다.

마지막으로, 독자는 논문의 경계를 눈에 띄게 유지해야 합니다. 이는 구조화된 에피소드와 선택된 모델 종료점을 기반으로 하는 동료 검토를 거치지 않은 새로운 사전 인쇄입니다. 실제 위반, 독립적인 감사 또는 상업 에이전트 플랫폼에 대한 보증을 보고하지 않습니다. 가장 강력한 후속 조치는 공개 코드를 사전 등록된 복제, 프로덕션과 유사한 권한 그래프, 다국어 및 다중 모드 입력, 출처 자체를 목표로 하도록 설계된 적대적 테스트와 결합하는 것입니다.

관련 가이드 및 퀴즈