概述
第三方保證很重要,因為有關人工智慧系統的說法很難讓外界核實,而審計正在成為監管機構、買家和公眾檢查的主要方式。
深入探討
人工智慧審計的不同之處在於由誰進行以及檢查的內容。內部審計由組織本身進行,最好由與建築商分開的團隊進行; Raji 及其同事的 2020 年框架提出了貫穿系統開發的端到端內部審計流程。外部審計來自外部人員。有些是合作性的,可以存取資料和程式碼;有些是合作性的,可以存取資料和程式碼。其他人則具有對抗性,例如記者或研究人員透過公共介面測試系統。監管審計是法律要求或依法進行的。方法分为三大类。治理或流程審核檢查政策、文件、角色和風險管理。技術審核測試模型:跨子組的表現、穩健性、安全性以及邊緣情況下的行為,有時包括紅隊。結果審計著眼於現實世界的影響,例如比較不同群體的決策或使用傀儡帳戶來探索推薦系統。合格評定是一個相關的法律概念。根據歐盟人工智慧法案,高風險系統的提供者在將其投放市場之前必須證明合規。對於大多數獨立的高風險用途,這是一個內部控製程序,而歐盟安全法已涵蓋的產品中的某些生物識別系統和人工智慧可能涉及指定機構。紐約市地方法 144 要求對自動化就業決策工具進行獨立偏見審計,歐盟數位服務法案要求對大型線上平台進行獨立審計。獨立性是持續的弱點。審核員通常由被審核公司支付報酬,他們的訪問權限可能有限,並且經常在沒有商定的合格標準的情況下開展工作。批評者警告說,審計清洗是一種狹隘的審計,被認為是乾淨的健康證明。一個常見的誤解是審計證明系統總體上是安全或公平的;它只涉及審查的標準、範圍和時間段。
現實世界的實施
紐約市的一家雇主使用自動履歷篩選工具委託進行獨立偏見審計,按照該市第 144 號地方法的要求,報告按性別和種族或民族類別劃分的選擇率影響比。
研究人員使用一組平衡的面孔查詢商業面孔分析服務,並按皮膚類型和性別發布錯誤率,這是在沒有供應商合作的情況下進行的外部審計,例如 2018 年的性別色調研究。
一家軟體公司尋求獲得認可的認證機構對其 AI 管理系統進行 ISO/IEC 42001 認證,以便企業客戶可以看到其治理控制已經過檢查。
歐盟的一個非常大的線上平台根據《數位服務法》對其風險管理(包括其推薦系統)進行年度獨立審計。
人工智慧審計和第三方保證的未來
人工智慧保險業正在形成,包括會計師事務所、專業新創公司、測試實驗室和認證機構。標準工作,例如管理系統的 ISO/IEC 42001 以及認證機構的相關標準,旨在使審核更具可比性。包括英國在內的各國政府已發布了發展人工智慧保障市場的計畫。未解決的關鍵問題包括審計師認證、外部研究人員存取模型內部結構以及誰在不產生利益衝突的情況下付費。對通用模型的審計尤其不成熟,因為它們的用途是開放式的。預計短期內將逐步專業化,而不是單一商定的方法。
付諸實踐
為什麼這很重要
- 風險與安全. 災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。
- 更明確的決策. 民眾和專業素養決定強而有力的安全政策在政治上是否可行。
- 突破炒作. 清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。
留意
- 將存在風險視為科幻小說,同時能力複合。
- 混淆了表面產品安全與高度自治下的對準。
- 只給非英語和非專業觀眾留下低品質的資源。
後續步驟
- 單獨的產品危害、誤用和失控/失調風險。
- 詢問哪些證據會改變您對時間表和嚴重性的看法。
- 比起行銷主張,更喜歡主要來源和具體評估。
- 確定一條行動路徑:職業、政策、資金或技能——而不僅僅是意識。
不斷探索
常見問題
什麼是人工智慧審計和第三方鑑證?
人工智慧審計是根據準確性、公平性、安全性、法律要求或治理標準等既定標準對人工智慧系統或運行該系統的組織進行的結構化評估,由獨立第三方在內部或在監管機構的授權下進行。第三方保證很重要,因為有關人工智慧系統的說法很難讓外界核實,而審計正在成為監管機構、買家和公眾檢查的主要方式。
哪一項描述了對抗性外部審計?
對抗性外部審計是由外部人員(例如記者或研究人員)進行的,在沒有合作或特權訪問的情況下探索系統。
治理或流程審計主要檢視什麼?
流程審核檢查組織如何管理人工智慧,而不是直接測試模型。
紐約市地方法 144 對自動化就業決策工具有何要求?
第 144 號地方法要求進行獨立的偏見審計,包括按人口類別劃分的影響率。
紐約市偏見審計中使用的影響比是如何計算的?
影響比將每個類別的選擇率與選擇最多的類別的選擇率進行比較。
根據歐盟人工智慧法案,大多數獨立的高風險系統如何進行合格評估?
大多數獨立的高風險用途都遵循內部控制,而某些生物識別系統和受監管的產品可能涉及指定機構。