연구에 따르면 AI 안전 벤치마크는 훨씬 적은 테스트를 사용할 수 있습니다.

무슨 일이 일어났나요?

8월 5일에 게시된 연구 논문은 교육 테스트의 방법을 적용하여 AI 안전 벤치마크가 포착하는 내용을 측정하고, 유용한 프롬프트의 작은 세트를 선택하고, 모델 동작의 변경 사항을 감사합니다.

영국 AI 보안 연구소(UK AI Security Institute)에 소속된 두 명의 독립적인 연구원과 두 명의 연구원은 유해한 요청 거부, 양성 요청의 과도한 거부, 상황에 따른 피해 및 진실성을 다루는 8가지 벤치마크에서 192개의 채팅 모델을 평가했습니다. 전체 제품군에는 전처리 전 5,255개의 프롬프트가 포함되어 있었습니다. 점수가 매겨지지 않은 응답과 테스트된 모델 간에 구별되지 않는 항목을 제거한 후에도 분석은 5,067을 유지했습니다.

팀에서는 모델을 테스트 응시자로, 벤치마크 프롬프트를 테스트 항목으로 처리했으며, 항목 반응 이론을 사용하여 어떤 프롬프트가 어려웠고 어떤 모델을 가장 잘 분리했는지 추정했습니다. 주요 요인 분석에서 거부 엄격성, 진실성, 상황적 피해로 요약된 3가지 요인 솔루션은 단일 요인의 47%에 비해 모델 능력의 변동을 77% 설명했습니다.

20개의 보류된 평가에서 3개의 고정된 25개 프롬프트 테스트는 제품군의 2% 미만을 사용하여 이러한 세 가지 요소를 복구했습니다. HarmBench, SORRY-Bench 및 OR-Bench-Hard의 경우 적응적으로 선택된 대략 10개의 프롬프트는 0.92~0.94의 상관 관계로 전체 벤치마크 순위를 재현하고 프롬프트 수를 97~99% 줄였습니다. 테스트 예산이 늘어나면서 이점은 줄어들었습니다.

압축은 단순히 무작위 샘플링이 아닙니다. 항목 반응 이론은 각 프롬프트가 얼마나 어려운지, 그리고 다양한 응답 패턴을 가진 모델을 얼마나 잘 분리하는지 추정한 다음 더 큰 테스트의 구조를 유지하는 항목을 선택합니다. 저자는 고정된 짧은 형식을 적응형 선택과 비교하고 프롬프트를 선택하는 데 사용된 데이터만 측정하는 대신 평가를 진행했습니다. 이러한 설계는 일부 기존 벤치마크 순위를 효율적으로 재현할 수 있다는 좁은 주장을 뒷받침합니다. 10개 또는 25개 항목 테스트가 완전히 새로운 실패 모드를 발견할 수 있다는 것을 보여주지는 않습니다.

소스 세부정보: Rivera and colleagues' research paper on arXiv ↗

왜 중요한가요?

이 연구는 모든 벤치마크가 하나의 보편적인 안전 점수를 측정한다고 가정하지 않고도 더 잘 선택된 프롬프트를 사용하면 빈번한 AI 안전 점검을 더 저렴하게 만들 수 있다고 제안합니다.

저렴한 테스트를 통해 개발자, 소규모 실험실 및 독립 평가자는 교육, 미세 조정, 양자화 및 시스템 프롬프트 변경 중에 더 많은 모델 버전을 확인할 수 있습니다. 그 결과는 기존 벤치마크 측정을 효율적으로 재현하는 것이지 벤치마크에서 감지할 수 있는 범위를 확장하는 것이 아닙니다.

요인 분석은 또한 점수 상충관계를 드러냅니다. 거절을 보상하는 벤치마크는 서로 겹칠 수 있는 반면, 불필요한 거절을 방지하기 위한 벤치마크는 반대 행동을 보상합니다. 가중치를 설명하지 않고 평균을 내면 모델이 더 안전한지, 단지 더 제한적인지, 양성 요청에 덜 유용한지 여부를 숨길 수 있습니다.

또한 이 백서는 의도적으로 유발된 샌드백 동작에 대한 블랙박스 감사 방법을 테스트했습니다. 응답 패턴 검사를 통해 선택적 저조한 성과를 포착했지만 대부분의 균일한 저조한 ​​성과를 놓쳤습니다. 과거 능력 검사를 추가하면 시뮬레이션된 사례 전체에서 결합 탐지율이 94~97%로 높아졌습니다. 이는 단일 점수에 의존하기보다는 계층화된 감사를 지원합니다.

개발자에게 있어 운영 가치는 빈도입니다. 매번 전체 벤치마크 예산을 소비하지 않고도 시스템 프롬프트 변경, 양자화 통과, 미세 조정, 도구 업데이트 또는 안전 정책 개정 후에 더 짧은 평가를 다시 실행할 수 있습니다. 그러나 결과는 팀이 압축된 테스트를 위해 직접 최적화하는 대신 원본 제품군을 정기적인 감사로 유지하고, 보류된 프롬프트를 순환하고, 놀라운 변경 사항을 조사하는 경우에만 유용합니다. 그렇지 않으면 값싼 검사가 과적합의 또 다른 대상이 될 수 있습니다.

다음에 무엇을 볼 것인가

독립적인 복제, 미래 모델군에 대한 검증, 단축된 테스트가 재현하도록 설계된 벤치마크 외부의 동작을 예측한다는 증거를 살펴보세요.

이것은 완전한 동료 검토 평결이 아닌 새로운 시험판입니다. 잠재 구조 분석은 134개의 모델을 사용했는데, 저자는 이 모델이 기존의 심리 측정 기준에 비해 작다고 지적했으며, 대체 추출 방법은 세 가지가 아닌 두 가지 요소를 유지했습니다. 요인 이름은 검증된 안전성 정의가 아닌 경험적 요약입니다.

각 모델은 OpenRouter를 통해 사용 가능한 프롬프트당 하나의 응답을 생성했으며 각 벤치마크는 규정된 자동 판단을 사용했습니다. 결과로 나오는 짧은 테스트는 원래 프롬프트, 채점 규칙, 언어 범위 및 심사위원의 결함을 물려받을 수 있습니다. 저자는 압축이 벤치마크가 배포 안전성을 예측하거나 향후 모델에 대한 정보를 유지한다는 것을 보여주지 않는다고 명시적으로 말합니다.

모래주머니 테스트에서는 평가를 회피하기 위해 미세 조정된 모델이 아닌 프롬프트된 모델 유기체를 사용했는데, 이는 감지하기 더 쉬울 수 있습니다. API 검사는 숨겨진 모델 가중치의 식별이 아닌 행동 연속성을 설정하며, 연구에서는 감사 방법을 무력화하도록 특별히 훈련된 공격자를 테스트하지 않았습니다.

이 논문의 가장 중요한 경계는 측정 효율성과 안전 보장 사이입니다. 짧은 형식은 원래 벤치마크에 존재하는 잠재 요인을 추정할 수 있지만 해당 벤치마크의 언어, 판단, 프롬프트 프레이밍 및 맹점을 상속합니다. 향후 평가에서는 다국어 프롬프트, 도구 지원 에이전트, 긴 대화, 적대적으로 미세 조정된 모델 및 독립적인 인간 판단을 테스트해야 합니다. 또한 보유된 데이터에 대한 깔끔한 상관 관계가 다음 모델 계열의 실패를 숨길 수 있기 때문에 압축된 점수가 불안정해지는 경우에도 보고해야 합니다.

실제 채택 규칙은 이러한 제한 사항을 따릅니다. 압축 테스트를 평결이 아닌 감시자로 사용합니다. 팀은 이를 자주 실행하여 회귀를 파악한 다음 짧은 형식이 예기치 않게 움직일 때 변경 사항을 전체 벤치마크 및 인적 검토로 확대할 수 있습니다. 이 연구 자체의 증거는 요인 구조가 특정 프롬프트, 판단 및 모델 출력에서 ​​파생되었기 때문에 계층화된 작업 흐름을 뒷받침합니다. 선택된 항목, 선택 코드, 보류된 결과 및 버전 기록을 게시하면 독립적인 평가자가 개발자가 이를 본 후 및 새 모델 계열이 응답 분포를 변경한 후에도 간단한 테스트가 유익한지 여부를 확인할 수 있습니다.

모델이 업데이트될 때에도 동일한 투명성이 중요합니다. 한 세대에 대해 보정된 짧은 테스트는 너무 쉽거나, 너무 좁거나, 실수로 새로운 시스템 프롬프트에 맞춰질 수 있습니다. 팀은 정확한 안전 점수로 압축된 순위를 제시하는 대신 이전 버전을 보존하고, 항목이나 심사위원이 변경될 때 이를 공개하고, 신뢰 구간을 보고해야 합니다. 이러한 관행을 통해 논문의 효율성 결과를 감사 가능한 모니터링 프로그램으로 전환하는 동시에 원본 벤치마크를 심층 검토에 사용할 수 있도록 유지합니다.

관련 가이드 및 퀴즈