发生了什么
SecurityBrief Asia 报道称，CREST 推出了人工智能标准安全测试和网络安全服务提供商认证。该框架评估提供商是否拥有测试人工智能系统所需的专业知识、方法、治理、控制和证据。
SecurityBrief Asia 报道称，全球非营利网络安全标准和认证机构 CREST 已针对网络安全服务提供商启动了人工智能标准安全测试和认证。其既定目的是在选择公司来测试使用生成式人工智能或大型语言模型的系统时，为组织提供独立的保证信号。本文将此次发布视为对市场空白的回应：组织正在采用支持人工智能的应用程序和工作流程，但买家可能很难确定测试提供商是否拥有相关的技术专业知识。
据SecurityBrief Asia称，该认证在技术专业知识、从业者能力、测试方法、治理、质量控制、工具、识别人工智能特定安全风险的流程以及用于支持测试结论的证据方面设定了可评估的要求。因此，该计划评估提供商的测试能力和围绕其工作的控制。该报告称，提供商必须已经持有 CREST 的渗透测试认证，或者与新的人工智能测试批准一起申请。这将新方案与渗透测试服务的现有 CREST 基线联系起来。
报告称，该标准将人工智能系统视为一个整体系统，而不仅仅是一个底层模型。其描述的范围包括应用程序、提示和系统指令、检索机制、数据源、内存、工具、插件、API、编排层和受人工智能输出影响的下游系统。这很重要，因为集成点或周围基础设施可能会出现漏洞，包括模型接收信息、调用工具或将结果传递到其他系统的方式。 SecurityBrief Asia 报道称，该标准是通过 CREST 的人工智能工作组与该行业共同制定的。
CREST 首席执行官尼克·本森 (Nick Benson) 告诉 SecurityBrief Asia，随着客户部署人工智能技术，会员和客户希望获得有关提供商人工智能测试资质的更多信息。 Benson 区分了使用“人工智能系统的安全测试”一词和展示执行该工作所需的专业知识和方法。文章还引用了 Sentrium Security 技术总监 Tim Reed 和 Wizlynx 网络安全服务组负责人 Yann Chalençon 的话，他们两人都支持该框架。他们的评论是行业认可，而不是对该标准的独立评估。
SecurityBrief Asia 将此次发布纳入 CREST 更广泛的人工智能保障计划中。文章称，CREST 在 7 月份推出了人工智能渗透测试标准，重点关注提供商在提供测试服务时如何使用人工智能。新报告的认证解决了提供商是否可以自行测试人工智能系统的不同问题。报告还称，超过 100 个网络安全创始组织签署了 CREST 的人工智能宪章和人工智能原则，占其全球会员的 10% 以上。这些数字和描述并未针对本次评估进行独立确认。
为什么这很重要
人工智能安全评估越来越不仅仅涉及单独测试模型。正式认证可以为组织提供更清晰的采购和供应商尽职调查信号，尽管报告没有独立确定该计划的采用范围或是否会改善测试结果。
现实意义在于，人工智能测试正在成为一个采购和治理问题，而不仅仅是一个技术问题。委托评估的公司可能需要相信供应商了解即时操作、检索风险、工具访问、数据处理、内存、编排和下游影响。 SecurityBrief Asia 报道称，CREST 的框架旨在使这些功能变得可评估。如果买家将认证作为供应商尽职调查的一部分，可能会使供应商的声明更容易进行比较。
对整个系统的重视也是重要的。仅测试模型的响应可能会错过其周围应用程序中的弱点：指令层次结构可能会暴露，检索源可能会中毒，连接的工具可能具有过多的权限，或者输出可能会触发不安全的下游操作。来源没有报告新方案的任何具体漏洞或测试结果，因此它不能证明该框架已经发现或阻止了此类故障。它报告了认证的范围和预期的保证功能。
该框架还可能影响提供商记录的内容。 SecurityBrief Asia 表示，CREST 将评估治理、质量控制、流程和证据以及技术技能。这种强调可能会鼓励公司解释如何选择测试用例、如何验证结果、如何记录限制以及如何支持结论。对于客户来说，这可能比仅仅声称提供商拥有人工智能经验更有用。该报告没有说明评分方法、通过门槛、重新评估周期或评估报告的公开可用性。
7 月份的人工智能渗透测试标准与这项新认证之间的区别非常重要。其中一个涉及测试提供商对人工智能的使用；另一个问题涉及提供商测试人工智能系统的能力。这些活动可能涉及不同的风险和能力。公司可能会使用人工智能来加速传统的安全工作，但没有资格评估模型行为、检索管道或类似代理的工具集成。相反，人工智能测试认证本身并不能证明每次参与的范围都很好，或者特定的部署是安全的。
公众影响仍然不确定，因为来源不包含独立买家、监管机构或学术评估。据报道，CREST 成员的支持表明参与的提供商看到了该计划的价值，但并未建立市场接受度。该文章也没有表明认证可以减少事件、改善漏洞发现或在提供商之间产生一致的结果。这些未知因素应该会缓和任何关于此次发布建立了新的全行业质量标准的说法。
互动机制：它实际上是如何运作的
以交互方式探索这一发展背后的基础技术。
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
接下来看什么
关键问题是买家是否需要认证、CREST 在实践中如何评估提供商以及该标准是否能在供应商之间产生可比较的测试质量。该报告没有提供完整的标准、评估结果、实施时间表或买家和监管机构的独立回应。
首先要关注的问题是买家的采用情况。 SecurityBrief Asia 将采购和供应商尽职调查确定为核心目标，但没有报告主要组织是否要求在招标或合同中进行认证。买家使用它来区分提供商的证据表明，该计划已不仅仅是一种自愿的专业证书。如果没有买家的参与，认证可能主要充当网络安全服务市场内的信号。
第二个问题是评估的透明度。该报告列出了广泛的评估领域，但没有提供该标准的详细控制、测试程序、证据要求或通过标准。观察员应寻找有关 CREST 如何审查提供商能力、认证更新频率、如何管理利益冲突以及是否披露失败或受限评估的信息。这些细节将有助于确定认证可以合理支持多少信心。
第三个问题是技术覆盖范围。人工智能部署差异很大，从简单的语言模型功能到具有检索、内存、外部工具、API 和自动化下游操作的系统。 CREST 报告的整个系统范围很广泛，但文章没有解释评估将如何处理架构、模型访问、数据敏感性或运营影响方面的差异。未来的指导或已发布的案例研究可以表明该标准是否在这些环境中实用，而不仅仅是全面的描述。
第四个问题是结果证据。报告中引用的 CREST 成员表示，该框架可以创造一致性并加强信任，但这些只是期望，而不是衡量的结果。有用的后续证据包括匿名评估结果、通过认可测试发现的人工智能特定弱点的示例，或者显示认可提供商产生更可靠结果的比较。来源中没有任何证据，并且此次发射不应被视为安全性提高的证据。
最后，与其他人工智能安全框架的关系也很重要。该文章描述了 CREST 自己的人工智能保证计划，但没有讨论其认证如何与政府指导、特定行业规则或其他测试标准保持一致。买家可能需要将其与风险评估、安全开发实践、访问控制、监控和人工审查结合起来。 SecurityBrief Asia 报道了此次发布及其预期作用；它不独立确认该计划的最终范围、有效性、监管认可或提供者评估的时间表。