社團指南

模型風險管理 (SR 11-7) 和人工智慧

SR 11-7 是聯邦儲備局於 2011 年發布的模型風險管理監督指引,與 OCC 公告 2011-12 同時發布。

聆聽此指南AI 語音敘述 · ~3 min

本頁4 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 模型風險管理的未來(SR 11-7)與 AI
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它期望銀行開發、驗證、治理並監控其依賴的模型。銀行現在將其應用於機器學習和大型語言模型,這對傳統驗證造成壓力,因為這些模型往往不透明、由供應商提供且非決定性。指引之所以重要,是因為使用 AI 進行信用、欺詐、合規或客戶服務的銀行必須向監督機構證明其了解並控制這些模型可能失效的方式。

深入探討

SR 11-7 was issued in April 2011 by the Federal Reserve together with the OCC, and the FDIC adopted it in 2017. It defines a model broadly: a quantitative method, system or approach that applies statistical, economic, financial or mathematical theories to turn input data into quantitative estimates. A model has an input part, a processing part and a reporting part. Model risk comes from two sources: fundamental errors in the model, and using a sound model incorrectly or outside its intended purpose. The guidance rests on three pillars. The first is sound development, implementation and use. The second is validation, which has three core elements: evaluating conceptual soundness, ongoing monitoring (including process verification and benchmarking), and outcomes analysis such as back-testing. The third is governance: board and senior management oversight, written policies, a complete model inventory, and documentation detailed enough that someone unfamiliar with the model could understand how it works. Throughout, the guidance calls for "effective challenge," meaning critical review by people who are objective, informed, competent and influential enough to force changes. Vendor models get no exemption. Banks are expected to get appropriate documentation from vendors. Where proprietary details are withheld, banks should rely more on sensitivity analysis, benchmarking and outcomes testing. A common misconception is that SR 11-7 doesn't reach AI because it predates modern machine learning. Its definition is technology-neutral, and supervisors have treated AI as within scope. Banks usually either classify generative AI tools as models or govern them under a broader AI risk framework that uses the same validation principles. Related references include the OCC's 2021 Comptroller's Handbook booklet on model risk management and the NIST AI Risk Management Framework, released in January 2023. For credit decisions, adverse action notice requirements under the Equal Credit Opportunity Act still apply when the model is complex.

現實世界的實施

一家銀行將一個供應商的 LLM(大型語言模型)加入其模型庫,為其分配風險等級,並在正式使用前交給獨立驗證團隊。

驗證人員建立數百個標記的投訴樣本,以測量 LLM 摘要在多大程度上遺漏了必須因監管原因升級的問題。他們在批准工具前設定可接受的錯誤閾值。

機器學習信用模型會對實際違約進行結果分析,並進行公平貸款測試。解釋方法有助於產生貸方必須向申請人提供的具體不利行動理由。

監控儀表板每週追蹤輸入數據的變化並抽樣檢查 LLM 輸出質量。當供應商發布新模型版本時,儀表板會觸發針對性的重新驗證。

模型風險管理的未來(SR 11-7)與 AI

銀行正在擴大模型庫並為生成式 AI 建立評估方法。監督機構已在演講和資訊請求中討論 AI 治理,但正式更新模型風險指引是否會出現,以及其內容如何,仍不確定。SR 11-7 的核心原則(了解模型目的、獨立測試、文件化其限制、隨時間監控)即使在具體方法仍在研發時,也適用於 LLM。預期最關注的將是供應商透明度和持續監控。

付諸實踐

為什麼這很重要

  • 風險與安全. 災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。
  • 更明確的決策. 民眾和專業素養決定強而有力的安全政策在政治上是否可行。
  • 突破炒作. 清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。

留意

  • 將存在風險視為科幻小說,同時能力複合。
  • 混淆了表面產品安全與高度自治下的對準。
  • 只給非英語和非專業觀眾留下低品質的資源。

後續步驟

  1. 單獨的產品危害、誤用和失控/失調風險。
  2. 詢問哪些證據會改變您對時間表和嚴重性的看法。
  3. 比起行銷主張,更喜歡主要來源和具體評估。
  4. 確定一條行動路徑:職業、政策、資金或技能——而不僅僅是意識。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加模型風險管理(SR 11-7)與 AI 測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是模型風險管理(SR 11-7)與 AI?

SR 11-7 是聯邦儲備局於 2011 年發布的模型風險管理監督指引,與 OCC 公告 2011-12 同時發布。它期望銀行開發、驗證、治理並監控其依賴的模型。銀行現在將其應用於機器學習和大型語言模型,這對傳統驗證造成壓力,因為這些模型往往不透明、由供應商提供且非決定性。指引之所以重要,是因為使用 AI 進行信用、欺詐、合規或客戶服務的銀行必須向監督機構證明其了解並控制這些模型可能失效的方式。

哪份 OCC 文件與聯邦儲備局的 SR 11-7 同時於 2011 年發布?

OCC 發布了與 Bulletin 2011-12 同樣的指引,因此兩份文件經常一起被引用。

SR 11-7 下驗證的三個核心要素是什麼?

驗證涵蓋設計是否合理、模型是否持續按預期運作,以及其輸出與實際結果的比較。

SR 11-7 要求什麼樣的審查才能算作「有效挑戰」?

有效挑戰意味著由有能力、獨立的人員進行批判性分析,其發現實際導致變更。

銀行應如何處理其專有細節被隱藏的供應商模型?

供應商模型仍需驗證。當內部細節不可用時,對行為和輸出的測試將更具權重。

根據指引,以下哪項屬於 LLM 應用程式的模型邊界,屬於變更管理?

提示、檢索資料、參數、工具和防護措施都會影響輸出,改變它們即算作模型變更。