社團指南

演算法影響評估

演算法影響評估 (AIA) 是在部署之前和部署期間的結構化審查,用於確定自動化或人工智慧系統可能影響的對象、可能造成的危害以及可以採取哪些保護措施來減少這些危害。

聆聽此指南AI 語音敘述 · ~3 min

本頁4 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 演算法影響評估的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這很重要,因為它迫使組織提前記錄風險和決策,而加拿大自動決策指令和歐盟人工智慧法案等規則現在都需要它的版本。

深入探討

AIA 借鑒了環境和隱私影響評估:在採取行動之前仔細考慮後果,將其寫下來,並承諾採取緩解措施。良好的評估通常涵蓋系統的目的和法律依據;它所支持的決策以及它在多大程度上取代了人類判斷;資料來源及其品質;受影響群體,特別是弱勢群體;可預見的傷害,例如歧視、錯誤、隱私喪失或排斥;監督、解釋和申訴途徑;以及監測和審查計劃。加拿大提供了最著名的政府例子。其《自動決策指令》自 2019 年起生效,要求聯邦機構在使用自動決策系統之前完成演算法影響評估。 AIA 是一份包含風險問題和緩解問題的線上問卷。此分數將系統置於四個影響層級之一,從影響很小到非常高,每個層級都會觸發特定的要求,例如同儕審查、向受影響的人發出通知、決策和解釋中的人為幹預。完成的評估將發佈在政府的開放資料入口網站上。歐盟人工智慧法案在第 27 條下增加了基本權利影響評估(FRIA)。它適用於作為公共機構或提供公共服務的私人實體的高風險系統的部署者,以及某些系統(例如信用評分、人壽和健康保險定價)的部署者。 FRIA 描述了系統的使用方式和頻率、受影響的人員、具體風險、人工監督措施以及風險發生時會發生什麼,以及部署者通知市場監管機構。它補充而不是取代 GDPR 下的資料保護影響評估。一個常見的誤解是 AIA 是一種一次性合規表格。它的價值來自於改變設計決策,以及當系統、資料或情境改變時重新檢視。

現實世界的實施

加拿大聯邦部門計劃使用模型對簽證申請進行分類,完成政府的線上 AIA 調查問卷,收到影響級別,然後必須根據該級別的要求安排同行評審和人工參與最終決策。

歐盟的一家區域銀行部署了高風險信用評分系統,準備了一份基本權利影響評估,描述受影響的申請人群體、歧視風險、人工監督安排以及如何處理投訴。

一家城市住房機構考慮使用租戶風險評分工具進行公眾諮詢,作為其評估的一部分,並在倡導者表明該工具跟踪了過去的歧視後,決定放棄驅逐歷史作為輸入。

採用敗血症警報模型的醫院在使用一年後更新了其影響評估,增加了對病房和患者群體誤報率的監控。

演算法影響評估的未來

影響評估正在成為人工智慧治理的標準部分,而不是可選的道德實踐。隨著歐盟人工智慧法案對高風險系統的義務生效,組織將需要可重複的模板,監管機構可能會就 FRIA 的內容發布進一步的指導。 ISO/IEC 42005 等標準可能有助於協調各國的實踐。懸而未決的問題是品質和獨立性:由想要部署系統的同一個團隊編寫的評估可能會成為勾選框。發布評估、有意義的公眾諮詢和外部審查是最有可能保持誠實的機制,但它們的採用範圍如何仍不確定。

付諸實踐

為什麼這很重要

  • 風險與安全. 災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。
  • 更明確的決策. 民眾和專業素養決定強而有力的安全政策在政治上是否可行。
  • 突破炒作. 清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。

留意

  • 將存在風險視為科幻小說,同時能力複合。
  • 混淆了表面產品安全與高度自治下的對準。
  • 只給非英語和非專業觀眾留下低品質的資源。

後續步驟

  1. 單獨的產品危害、誤用和失控/失調風險。
  2. 詢問哪些證據會改變您對時間表和嚴重性的看法。
  3. 比起行銷主張,更喜歡主要來源和具體評估。
  4. 確定一條行動路徑:職業、政策、資金或技能——而不僅僅是意識。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加演算法影響評估測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是演算法影響評估?

演算法影響評估 (AIA) 是在部署之前和部署期間的結構化審查,用於確定自動化或人工智慧系統可能影響的對象、可能造成的危害以及可以採取哪些保護措施來減少這些危害。這很重要,因為它迫使組織提前記錄風險和決策,而加拿大自動決策指令和歐盟人工智慧法案等規則現在都需要它的版本。

演算法影響評估的主要目的是什麼?

AIA 是對受影響人群、可預見的危害和緩解措施進行的結構化審查,提前進行並隨著時間的推移進行重新審查。

哪些類型的評估啟發了 AIA 方法?

AIA 借鑒了環境和隱私影響評估:預測後果、記錄後果並致力於緩解措施。

在加拿大的AIA中,問卷分數決定什麼?

此分數將系統置於四個影響層級之一,每個層級都有同儕審查、通知和人工幹預等要求。

加拿大完整的 AIA 在哪裡提供?

完整的加拿大AIA發佈在開放的政府資料入口網站上,支援透明度。

根據《歐盟人工智慧法案》,哪一條規定了基本權利影響評估?

《人工智慧法案》第 27 條涵蓋了針對某些高風險系統部署者的 FRIA。