社会ガイド
モデルリスク管理 (SR 11-7) と AI
SR 11-7 は、モデルリスク管理に関する連邦準備制度の 2011 年監督指針であり、OCC Bulletin 2011-12 と共同で発行されました。
概要
銀行には、依存するモデルを開発、検証、管理、監視することが期待されています。銀行は現在、機械学習や大規模な言語モデルにそれを適用していますが、これらのモデルは多くの場合不透明で、ベンダーによって提供され、非決定的であるため、従来の検証に負担がかかります。信用、詐欺、コンプライアンス、または顧客サービスに AI を使用する銀行は、それらのモデルがどのように失敗するかを理解し、制御していることを監督当局に示す必要があるため、このガイダンスは重要です。
ディープダイブ
SR 11-7 は、2011 年 4 月に連邦準備制度理事会が OCC とともに発行し、FDIC は 2017 年にそれを採用しました。SR 11-7 はモデルを広く定義しています。これは、入力データを定量的な推定値に変換するために統計、経済、財務、数学理論を適用する定量的な方法、システム、またはアプローチです。モデルには、入力部分、処理部分、レポート部分があります。モデルのリスクは 2 つの原因から生じます。1 つはモデルの基本的なエラー、もう 1 つはサウンド モデルの誤った使用または本来の目的外の使用です。指針は 3 つの柱に基づいています。 1 つ目は、健全な開発、実装、使用です。 2 つ目は検証です。これには、概念的な健全性の評価、継続的なモニタリング (プロセスの検証とベンチマークを含む)、バックテストなどの結果分析の 3 つの主要な要素があります。 3 つ目はガバナンスです。取締役会と上級管理職の監督、書面によるポリシー、完全なモデル目録、およびモデルに詳しくない人でもモデルがどのように機能するかを理解できるほど詳細な文書です。このガイダンスは全体を通して「効果的な挑戦」を求めており、これは客観的で、情報があり、有能で、変化を強制するのに十分な影響力を持つ人々による批判的なレビューを意味する。ベンダーモデルには免除はありません。銀行はベンダーから適切な文書を入手することが期待されています。機密情報が伏せられている場合、銀行は感度分析、ベンチマーク、結果テストにもっと依存する必要があります。よくある誤解は、SR 11-7 は最新の機械学習よりも古いものであるため、AI には到達しないというものです。その定義はテクノロジー中立であり、監督者は AI を範囲内として扱ってきました。銀行は通常、生成 AI ツールをモデルとして分類するか、同じ検証原則を使用するより広範な AI リスク フレームワークに基づいて管理します。関連する参考資料としては、モデル リスク管理に関する OCC の 2021 年会計監査ハンドブック小冊子や、2023 年 1 月にリリースされた NIST AI リスク管理フレームワークなどがあります。信用決定については、モデルが複雑な場合でも、信用機会均等法に基づく不利な措置通知要件が引き続き適用されます。
戦略的影響
リスクと安全性
AI による壊滅的な被害も日常的な被害も、誰がリスクを理解し、誰が行動できるかにかかっています。
より明確な判決
国民と専門家のリテラシーは、強力な安全政策が政治的に可能かどうかを左右します。
誇大広告を打ち破る
明確な説明は、誇大広告、研究室の PR、曖昧な倫理劇場に囚われることを減らします。
モデルリスク管理 (SR 11-7) と AI の将来
銀行はモデル在庫を拡大し、生成型 AI の評価手法を構築しています。監督当局は講演や情報提供要請の中でAIガバナンスについて議論しているが、モデルリスクガイダンスの正式な更新が行われるかどうか、また監督当局がどのような意見を言うかは依然として不透明である。 SR 11-7 の中核となる原則 (モデルの目的を知る、独立してテストする、限界を文書化する、長期にわたって監視する) は、特定の方法がまだ検討中の場合でも、LLM によく当てはまります。ベンダーの透明性と継続的な監視に最も注目してください。
現実世界の実装
ある銀行は、顧客の苦情を要約するベンダー LLM をモデル インベントリに追加し、リスク層を割り当てて、実稼働使用前に独立した検証チームに渡します。
バリデーターは、規制上の理由からエスカレーションする必要がある問題が LLM の概要から除外される頻度を測定するために、数百件の苦情のラベル付きセットを作成します。ツールを承認する前に、許容可能なエラーしきい値を設定します。
機械学習信用モデルは、実際のデフォルトに対する結果分析に加えて、公正な融資テストを経ます。説明方法は、貸し手が申請者に提示しなければならない具体的な不利な行動の理由を生み出すのに役立ちます。
モニタリング ダッシュボードは入力データの変化を追跡し、LLM 出力品質を毎週サンプリングします。ベンダーが新しいモデル バージョンをリリースすると、ダッシュボードは対象を絞った再検証をトリガーします。
リスクとガードレール
能力が複雑になる一方で、実存的なリスクを SF として扱います。
高度な自律性の下での調整による表面製品の安全性を混乱させる。
英語以外や専門家ではない聴衆には、低品質の情報源しか提供されません。
実装ロードマップ
製品の危害、誤使用、制御不能/調整不良のリスクを分離します。
どのような証拠がタイムラインと重大度についてのあなたの見方を変えるかを尋ねてください。
マーケティング上の主張よりも、一次情報源と具体的な評価を優先します。
意識だけでなく、キャリア、政策、資金、スキルなど、行動経路を 1 つ特定します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model Risk Management (SR 11-7) and AI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
よくある質問
モデルリスク管理 (SR 11-7) と AI とは何ですか?
SR 11-7 は、モデルリスク管理に関する連邦準備制度の 2011 年監督指針であり、OCC Bulletin 2011-12 と共同で発行されました。銀行には、依存するモデルを開発、検証、管理、監視することが期待されています。銀行は現在、機械学習や大規模な言語モデルにそれを適用していますが、これらのモデルは多くの場合不透明で、ベンダーによって提供され、非決定的であるため、従来の検証に負担がかかります。信用、詐欺、コンプライアンス、または顧客サービスに AI を使用する銀行は、それらのモデルがどのように失敗するかを理解し、制御していることを監督当局に示す必要があるため、このガイダンスは重要です。
2011 年に連邦準備制度の SR 11-7 と並行して発行された OCC 文書はどれですか?
OCC は Bulletin 2011-12 と同じガイダンスを発行したため、2 つの文書が一緒に引用されることがよくあります。
SR 11-7 に基づく検証の 3 つの中心要素は何ですか?
検証では、設計が適切であるかどうか、モデルが意図したとおりに動作し続けるかどうか、その出力が実際の結果とどのように比較されるかが取り上げられます。
SR 11-7 が「効果的なチャレンジ」としてカウントされるためには、レビューに何が必要ですか?
効果的な挑戦とは、有能で独立した人々による批判的な分析を意味し、その結果が実際に変化につながります。
銀行は、機密情報が伏せられているベンダーモデルをどのように扱うべきでしょうか?
ベンダー モデルはまだ検証中です。内部の詳細が入手できない場合は、動作と出力のテストがより重要になります。
ガイドによると、変更管理のための LLM アプリケーションのモデル境界の一部は次のうちどれですか?
プロンプト、取得データ、パラメータ、ツール、ガードレールはすべて出力を形成するため、それらの変更はモデルの変更としてカウントされます。
学び続ける
関連ガイド
このトピックのために選ばれたその他のガイド