무슨 일이 일어났나요?
SecurityBrief Asia는 CREST가 사이버 보안 서비스 제공업체를 위한 AI 표준 및 인증에 대한 보안 테스트를 시작했다고 보고했습니다. 프레임워크는 제공업체가 AI 지원 시스템을 테스트하는 데 필요한 전문 지식, 방법, 거버넌스, 제어 및 증거를 갖추고 있는지 평가합니다.
SecurityBrief Asia는 글로벌 비영리 사이버 보안 표준 및 인증 기관인 CREST가 사이버 보안 서비스 제공업체에 대한 AI 표준 및 인증에 대한 보안 테스트를 시작했다고 보고했습니다. 명시된 목적은 생성 AI 또는 대규모 언어 모델을 사용하는 시스템을 테스트할 회사를 선택할 때 조직에 독립적인 보증 신호를 제공하는 것입니다. 기사에서는 시장 격차에 대한 대응으로 이번 출시를 제시합니다. 조직은 AI 지원 애플리케이션과 워크플로를 채택하고 있지만 구매자는 테스트 제공업체가 관련 기술 전문 지식을 보유하고 있는지 판단하는 데 어려움을 겪을 수 있습니다.
SecurityBrief Asia에 따르면, 인증은 기술 전문성, 실무자 역량, 테스트 방법론, 거버넌스, 품질 관리, 도구, AI 관련 보안 위험 식별 프로세스, 테스트 결론을 뒷받침하는 데 사용되는 증거 전반에 걸쳐 평가 가능한 요구 사항을 설정합니다. 따라서 이 체계는 제공업체의 테스트 역량과 해당 작업을 둘러싼 통제 수단을 모두 평가합니다. 보고서에 따르면 제공업체는 이미 CREST의 침투 테스트 인증을 보유하거나 새로운 AI 테스트 승인과 함께 신청해야 합니다. 이는 침투 테스트 서비스를 위한 기존 CREST 기준에 새로운 체계를 연결합니다.
보고서에 따르면 이 표준은 AI 시스템을 기본 모델만이 아닌 전체 시스템으로 취급합니다. 설명된 범위에는 애플리케이션, 프롬프트 및 시스템 지침, 검색 메커니즘, 데이터 소스, 메모리, 도구, 플러그인, API, 오케스트레이션 레이어 및 AI 출력의 영향을 받는 다운스트림 시스템이 포함됩니다. 이는 모델이 정보를 수신하고 도구를 호출하거나 결과를 다른 시스템에 전달하는 방식을 포함하여 통합 지점이나 주변 인프라에서 취약성이 발생할 수 있기 때문에 중요합니다. SecurityBrief Asia는 이 표준이 CREST의 AI 실무 그룹을 통해 해당 부문과 함께 개발되었다고 보고합니다.
CREST의 Nick Benson CEO는 SecurityBrief Asia에 고객이 AI 지원 기술을 배포함에 따라 회원과 고객이 공급자의 AI 테스트 자격 증명에 대한 더 많은 정보를 원한다고 말했습니다. Benson은 "AI 시스템의 보안 테스트"라는 문구를 사용하는 것과 해당 작업을 수행하는 데 필요한 전문 지식과 방법론을 보여주는 것을 구별했습니다. 이 기사에서는 또한 이 프레임워크를 지원하는 Sentrium Security 기술 이사인 Tim Reed와 wizlynx의 사이버 보안 서비스 그룹 책임자인 Yann Chalençon의 말을 인용했습니다. 그들의 의견은 표준에 대한 독립적인 평가가 아닌 업계의 승인입니다.
SecurityBrief Asia는 CREST의 광범위한 AI 보증 프로그램 내에서 출시를 진행합니다. 기사에 따르면 CREST는 지난 7월 AI 지원 침투 테스트 표준을 도입했으며, 이는 공급자가 테스트 서비스를 제공하는 동안 AI를 사용하는 방법에 중점을 두었습니다. 새로 보고된 인증은 공급자가 AI 시스템을 직접 테스트할 수 있는지 여부에 대한 다양한 질문을 다룹니다. 보고서는 또한 100개 이상의 창립 사이버 보안 조직이 CREST의 AI 헌장 및 AI 원칙에 서명했으며 이는 전 세계 회원의 10% 이상을 대표한다고 밝혔습니다. 이러한 수치와 설명은 이 평가에 대해 독립적으로 확인되지 않았습니다.
왜 중요한가요?
AI 보안 평가에는 모델을 개별적으로 테스트하는 것 이상의 작업이 점점 더 많이 포함됩니다. 공식 인증은 조직에 보다 명확한 조달 및 공급업체 실사 신호를 제공할 수 있지만, 보고서는 해당 제도가 얼마나 광범위하게 채택될지 또는 테스트 결과를 향상시킬지 여부를 독립적으로 설정하지 않습니다.
실질적인 의미는 AI 테스트가 기술적인 문제뿐만 아니라 조달 및 거버넌스 문제가 되고 있다는 것입니다. 평가를 의뢰하는 회사는 공급업체가 즉각적인 조작, 검색 위험, 도구 액세스, 데이터 처리, 메모리, 조정 및 다운스트림 효과를 이해하고 있다는 확신이 필요할 수 있습니다. SecurityBrief Asia는 CREST의 프레임워크가 이러한 기능을 평가할 수 있도록 설계되었다고 보고합니다. 구매자가 공급업체 실사의 한 부분으로 인증을 사용하는 경우 공급업체의 주장을 더 쉽게 비교할 수 있습니다.
전체 시스템의 강조도 결과적입니다. 모델의 응답만 테스트하면 주변 애플리케이션의 약점을 놓칠 수 있습니다. 명령 계층이 노출될 수 있고, 검색 소스가 손상될 수 있으며, 연결된 도구에 과도한 권한이 있거나, 출력이 안전하지 않은 다운스트림 작업을 트리거할 수 있습니다. 소스는 새로운 체계의 특정 취약점이나 테스트 결과를 보고하지 않으므로 프레임워크가 그러한 실패를 발견했거나 방지했음을 보여주지 않습니다. 이는 인정의 범위와 의도된 보증 기능을 보고합니다.
프레임워크는 공급자가 문서화하는 내용에도 영향을 미칠 수 있습니다. SecurityBrief Asia는 CREST가 거버넌스, 품질 관리, 프로세스 및 증거는 물론 기술 능력을 평가할 것이라고 말했습니다. 이러한 강조는 회사가 테스트 사례 선택 방법, 결과 검증 방법, 제한 사항 기록 방법 및 결론 지원 방법을 설명하도록 장려할 수 있습니다. 고객에게는 이는 공급자가 AI에 대한 경험이 있다는 단순한 주장보다 더 유용할 수 있습니다. 보고서에는 채점 방법, 합격 기준, 재평가 주기 또는 평가 보고서의 공개 가용성이 명시되어 있지 않습니다.
7월의 AI 지원 침투 테스트 표준과 이 새로운 인증 간의 차이점은 중요합니다. 하나는 테스트 제공업체의 AI 사용에 관한 것입니다. 다른 하나는 AI 시스템을 테스트하는 공급자의 능력과 관련이 있습니다. 이러한 활동에는 다양한 위험과 역량이 포함될 수 있습니다. 기업은 모델 동작, 검색 파이프라인 또는 에이전트와 같은 도구 통합을 평가할 자격이 없어도 AI를 사용하여 기존 보안 작업을 가속화할 수 있습니다. 반대로, AI 테스트 인증만으로는 모든 참여의 범위가 적절하거나 특정 배포가 안전하다는 것을 증명할 수 없습니다.
소스에는 독립적인 구매자, 규제 기관 또는 학술 평가가 포함되어 있지 않기 때문에 대중에게 미치는 영향은 여전히 불확실합니다. CREST 회원들이 보고한 지원에 따르면 참여 제공업체는 이 제도의 가치를 인식하지만 시장 수용을 확립하지는 못합니다. 또한 이 기사에서는 인증이 사고를 줄이고, 취약성 발견을 개선하거나, 공급자 전반에 걸쳐 일관된 결과를 생성한다는 사실을 보여주지 않습니다. 이러한 미지의 사실은 이번 출시로 업계 전반에 걸쳐 새로운 품질 기준이 확립되었다는 주장을 완화할 것입니다.
대화형 메커니즘: 실제로 작동하는 방식
이 개발의 이면에 있는 기본 기술을 대화식으로 살펴보세요.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
다음에 무엇을 볼 것인가
주요 질문은 구매자가 인증을 요구하는지 여부, CREST가 실제로 공급자를 평가하는 방법, 표준이 공급업체 전체에 걸쳐 비교 가능한 테스트 품질을 제공하는지 여부입니다. 보고서는 전체 표준, 평가 결과, 구현 시간표 또는 구매자 및 규제 기관의 독립적인 응답을 제공하지 않습니다.
가장 먼저 주목해야 할 문제는 구매자의 채택입니다. SecurityBrief Asia는 조달 및 공급업체 실사를 핵심 목표로 식별하지만 주요 조직이 입찰이나 계약에서 인증을 요구하는지 여부는 보고하지 않습니다. 구매자가 공급자를 구별하기 위해 이를 사용한다는 증거는 이 제도가 자발적인 전문 자격 이상의 것이 되었음을 보여줄 것입니다. 구매자의 참여가 없으면 인증은 주로 사이버 보안 서비스 시장 내에서 신호 역할을 할 수 있습니다.
두 번째 문제는 평가의 투명성이다. 보고서에는 광범위한 평가 영역이 나와 있지만 표준의 세부 제어, 테스트 절차, 증거 요구 사항 또는 합격 기준은 제공되지 않습니다. 참관인은 CREST가 제공자 역량을 검사하는 방법, 인증이 갱신되는 빈도, 이해 상충을 관리하는 방법, 실패하거나 제한된 평가가 공개되는지 여부에 대한 정보를 찾아야 합니다. 이러한 세부 사항은 인증이 합리적으로 뒷받침할 수 있는 신뢰도를 결정하는 데 도움이 됩니다.
세 번째 문제는 기술적 범위입니다. AI 배포는 단순한 언어 모델 기능부터 검색, 메모리, 외부 도구, API 및 자동화된 다운스트림 작업을 갖춘 시스템까지 매우 다양합니다. CREST가 보고한 전체 시스템 범위는 광범위하지만 이 기사에서는 평가가 아키텍처, 모델 액세스, 데이터 민감도 또는 운영 영향의 차이를 처리하는 방법을 설명하지 않습니다. 향후 지침이나 출판된 사례 연구에서는 표준이 단순히 포괄적인 설명이 아닌 이러한 환경에서 실용적인지 여부를 보여줄 수 있습니다.
네 번째 문제는 결과 증거입니다. 보고서에 인용된 CREST 회원들은 프레임워크가 일관성을 창출하고 신뢰를 강화할 수 있다고 말하지만 이는 측정된 결과라기보다는 기대에 불과합니다. 유용한 후속 증거에는 익명 평가 결과, 공인 테스트를 통해 발견된 AI 관련 약점의 예 또는 공인 제공업체가 보다 신뢰할 수 있는 결과를 생성함을 보여주는 비교가 포함됩니다. 해당 증거 중 어느 것도 소스에 존재하지 않으며 출시를 보안 개선의 증거로 취급해서는 안 됩니다.
마지막으로, 다른 AI 보안 프레임워크와의 관계가 중요합니다. 이 기사에서는 CREST의 자체 AI 보증 프로그램을 설명하지만 해당 인증이 정부 지침, 부문별 규칙 또는 기타 테스트 표준과 어떻게 일치하는지 논의하지 않습니다. 구매자는 이를 위험 평가, 보안 개발 관행, 액세스 제어, 모니터링 및 인적 검토와 결합해야 할 수도 있습니다. SecurityBrief Asia는 출시와 의도된 역할을 보고합니다. 프로그램의 최종 범위, 효율성, 규제 승인 또는 제공자 평가 일정을 독립적으로 확인하지는 않습니다.