發生了什麼事
SecurityBrief Asia 報導，CREST 推出了人工智慧標準安全測試和網路安全服務供應商認證。此框架評估提供者是否擁有測試人工智慧系統所需的專業知識、方法、治理、控制和證據。
SecurityBrief Asia 報告稱，全球非營利網路安全標準和認證機構 CREST 已針對網路安全服務供應商啟動了人工智慧標準安全測試和認證。其既定目的是在選擇公司來測試使用生成式人工智慧或大型語言模型的系統時，為組織提供獨立的保證訊號。本文將此次發布視為對市場空白的回應：組織正在採用支援人工智慧的應用程式和工作流程，但買家可能很難確定測試提供者是否擁有相關的技術專業知識。
據SecurityBrief Asia稱，該認證在技術專業知識、從業者能力、測試方法、治理、品質控制、工具、識別人工智慧特定安全風險的流程以及用於支援測試結論的證據方面設定了可評估的要求。因此，該計劃評估提供者的測試能力和圍繞其工作的控制。該報告稱，提供者必須已經持有 CREST 的滲透測試認證，或與新的人工智慧測試批准一起申請。這將新方案與滲透測試服務的現有 CREST 基準連結起來。
報告稱，該標準將人工智慧系統視為一個整體系統，而不僅僅是一個底層模型。其描述的範圍包括應用程式、提示和系統指令、檢索機制、資料來源、記憶體、工具、插件、API、編排層和受人工智慧輸出影響的下游系統。這很重要，因為整合點或周圍基礎設施可能會出現漏洞，包括模型接收資訊、呼叫工具或將結果傳遞到其他系統的方式。 SecurityBrief Asia 報告稱，該標準是透過 CREST 的人工智慧工作小組與該行業共同製定的。
CREST 執行長 Nick Benson 告訴 SecurityBrief Asia，隨著客戶部署人工智慧技術，會員和客戶希望獲得有關提供者人工智慧測試資格的更多資訊。 Benson 區分了使用「人工智慧系統的安全測試」一詞和展示執行該工作所需的專業知識和方法。文章還引用了 Sentrium Security 技術總監 Tim Reed 和 Wizlynx 網路安全服務組負責人 Yann Chalençon 的話，他們兩人都支持該框架。他們的評論是行業認可，而不是對該標準的獨立評估。
SecurityBrief Asia 將此次發布納入 CREST 更廣泛的人工智慧保障計畫中。文章稱，CREST 在 7 月推出了人工智慧滲透測試標準，重點關注供應商在提供測試服務時如何使用人工智慧。新報告的認證解決了提供者是否可以自行測試人工智慧系統的不同問題。報告還稱，超過 100 個網路安全創始組織簽署了 CREST 的人工智慧憲章和人工智慧原則，佔其全球會員的 10% 以上。這些數字和描述並未針對本次評估進行獨立確認。
為什麼這很重要
人工智慧安全評估越來越不僅涉及單獨測試模型。正式認證可以為組織提供更清晰的採購和供應商盡職調查訊號，儘管報告沒有獨立確定該計劃的採用範圍或是否會改善測試結果。
現實意義在於，人工智慧測試正在成為一個採購和治理問題，而不僅僅是一個技術問題。委託評估的公司可能需要相信供應商了解即時操作、檢索風險、工具存取、資料處理、記憶體、編排和下游影響。 SecurityBrief Asia 報告稱，CREST 的框架旨在使這些功能可評估。如果買家將認證作為供應商盡職調查的一部分，可能會使供應商的聲明更容易進行比較。
對整個系統的重視也是重要的。僅測試模型的回應可能會錯過其周圍應用程式中的弱點：指令層次結構可能會暴露，檢索來源可能會中毒，連接的工具可能具有過多的權限，或者輸出可能會觸發不安全的下游操作。來源沒有報告新方案的任何特定漏洞或測試結果，因此它不能證明該框架已經發現或阻止了此類故障。它報告了認證的範圍和預期的保證功能。
該框架也可能影響提供者記錄的內容。 SecurityBrief Asia 表示，CREST 將評估治理、品質控制、流程和證據以及技術技能。這種強調可能會鼓勵公司解釋如何選擇測試案例、如何驗證結果、如何記錄限制以及如何支持結論。對於客戶來說，這可能比僅僅聲稱提供者擁有人工智慧經驗更有用。該報告沒有說明評分方法、通過門檻、重新評估週期或評估報告的公開可用性。
7 月的人工智慧滲透測試標準與這項新認證之間的差異非常重要。其中一個涉及測試提供者對人工智慧的使用；另一個問題涉及提供者測試人工智慧系統的能力。這些活動可能涉及不同的風險和能力。公司可能會使用人工智慧來加速傳統的安全工作，但沒有資格評估模型行為、檢索管道或類似代理的工具整合。相反，人工智慧測試認證本身並不能證明每次參與的範圍都很好，或者特定的部署是安全的。
公眾影響仍然不確定，因為來源不包含獨立買家、監管機構或學術評估。據報道，CREST 成員的支持表明參與的提供者看到了該計劃的價值，但並未建立市場接受度。該文章也沒有表明認證可以減少事件、改善漏洞發現或在提供者之間產生一致的結果。這些未知因素應該會緩和任何關於此次發佈建立了新的全行業品質標準的說法。
互動機制：它實際上是如何運作的
以互動方式探索這項發展背後的基礎技術。
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
接下來看什麼
關鍵問題是買家是否需要認證、CREST 在實踐中如何評估提供者以及該標準是否能在供應商之間產生可比較的測試品質。該報告沒有提供完整的標準、評估結果、實施時間表或買家和監管機構的獨立回應。
首先要關注的問題是買家的採用情況。 SecurityBrief Asia 將採購和供應商盡職調查確定為核心目標，但沒有報告主要組織是否要求在招標或合約中進行認證。買家使用它來區分提供者的證據表明，該計劃已不僅僅是自願的專業證書。如果沒有買家的參與，認證可能主要充當網路安全服務市場內的訊號。
第二個問題是評估的透明度。該報告列出了廣泛的評估領域，但沒有提供該標準的詳細控制、測試程序、證據要求或通過標準。觀察員應尋找有關 CREST 如何審查提供者能力、認證更新頻率、如何管理利益衝突以及是否揭露失敗或受限評估的資訊。這些細節將有助於確定認證可以合理支持多少信心。
第三個問題是技術覆蓋範圍。人工智慧部署差異很大，從簡單的語言模型功能到具有檢索、記憶體、外部工具、API 和自動化下游操作的系統。 CREST 報告的整個系統範圍很廣泛，但文章沒有解釋評估將如何處理架構、模型存取、資料敏感性或營運影響方面的差異。未來的指導或已發布的案例研究可以表明該標準是否在這些環境中實用，而不僅僅是全面的描述。
第四個問題是結果證據。報告中引用的 CREST 成員表示，該框架可以創造一致性並加強信任，但這些只是期望，而不是衡量的結果。有用的後續證據包括匿名評估結果、透過認可測試發現的人工智慧特定弱點的範例，或顯示認可提供者產生更可靠結果的比較。來源中沒有任何證據，且此發射不應被視為安全性提高的證據。
最後，與其他人工智慧安全框架的關係也很重要。該文章描述了 CREST 自己的人工智慧保證計劃，但沒有討論其認證如何與政府指導、特定行業規則或其他測試標準保持一致。買家可能需要將其與風險評估、安全開發實踐、存取控制、監控和手動審查結合。 SecurityBrief Asia 報告了此次發布及其預期作用；它不獨立確認該計劃的最終範圍、有效性、監管認可或提供者評估的時間表。