PANDUAN Masyarakat

Pengurusan Risiko Model (SR 11-7) dan AI

SR 11-7 ialah panduan penyeliaan 2011 Federal Reserve mengenai pengurusan risiko model, yang dikeluarkan bersama Buletin OCC 2011-12.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Pengurusan Risiko Model (SR 11-7) dan AI
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Ia mengharapkan bank membangun, mengesahkan, mentadbir dan memantau model yang mereka harapkan. Bank kini menggunakannya pada pembelajaran mesin dan model bahasa besar, yang membebankan pengesahan tradisional kerana model ini selalunya legap, dibekalkan oleh vendor dan tidak menentukan. Panduan itu penting kerana bank yang menggunakan AI untuk kredit, penipuan, pematuhan atau perkhidmatan pelanggan perlu menunjukkan kepada penyelia ia memahami dan mengawal cara model tersebut boleh gagal.

Menyelam dalam

SR 11-7 telah dikeluarkan pada April 2011 oleh Federal Reserve bersama-sama dengan OCC, dan FDIC menerima pakainya pada 2017. Ia mentakrifkan model secara meluas: kaedah kuantitatif, sistem atau pendekatan yang menggunakan teori statistik, ekonomi, kewangan atau matematik untuk menukar data input kepada anggaran kuantitatif. Model mempunyai bahagian input, bahagian pemprosesan dan bahagian pelaporan. Risiko model datang daripada dua sumber: ralat asas dalam model, dan menggunakan model bunyi secara tidak betul atau di luar tujuan yang dimaksudkan. Hidayah terletak pada tiga rukun. Yang pertama ialah pembangunan, pelaksanaan dan penggunaan yang kukuh. Yang kedua ialah pengesahan, yang mempunyai tiga elemen teras: menilai kekukuhan konsep, pemantauan berterusan (termasuk pengesahan proses dan penanda aras), dan analisis hasil seperti ujian belakang. Yang ketiga ialah tadbir urus: pengawasan lembaga dan pengurusan kanan, dasar bertulis, inventori model lengkap, dan dokumentasi yang cukup terperinci sehingga seseorang yang tidak biasa dengan model itu dapat memahami cara ia berfungsi. Pada keseluruhannya, panduan ini memerlukan "cabaran yang berkesan," yang bermaksud semakan kritikal oleh orang yang objektif, bermaklumat, cekap dan cukup berpengaruh untuk memaksa perubahan. Model vendor tidak mendapat pengecualian. Bank dijangka mendapat dokumentasi yang sesuai daripada vendor. Apabila butiran proprietari ditahan, bank harus lebih bergantung pada analisis sensitiviti, penanda aras dan ujian hasil. Salah tanggapan biasa ialah SR 11-7 tidak mencapai AI kerana ia mendahului pembelajaran mesin moden. Takrifannya adalah neutral teknologi, dan penyelia telah menganggap AI sebagai dalam skop. Bank biasanya sama ada mengklasifikasikan alat AI generatif sebagai model atau mengawalnya di bawah rangka kerja risiko AI yang lebih luas yang menggunakan prinsip pengesahan yang sama. Rujukan berkaitan termasuk buku Panduan Pengawal 2021 OCC mengenai pengurusan risiko model dan Rangka Kerja Pengurusan Risiko NIST AI, dikeluarkan pada Januari 2023. Untuk keputusan kredit, keperluan notis tindakan buruk di bawah Akta Peluang Kredit Sama Rata masih terpakai apabila model itu rumit.

Pelaksanaan Dunia Sebenar

Sebuah bank menambahkan LLM vendor yang meringkaskan aduan pelanggan kepada inventori modelnya, memberikannya peringkat risiko dan memberikannya kepada pasukan pengesahan bebas sebelum penggunaan pengeluaran.

Pengesah membina set berlabel beberapa ratus aduan untuk mengukur kekerapan ringkasan LLM meninggalkan isu yang mesti dipertingkatkan atas sebab peraturan. Mereka menetapkan ambang ralat yang boleh diterima sebelum meluluskan alat tersebut.

Model kredit pembelajaran mesin melalui analisis hasil terhadap lalai sebenar, serta ujian pinjaman yang adil. Kaedah penerangan membantu menghasilkan tindakan buruk khusus sebab pemberi pinjaman mesti berikan kepada pemohon.

Papan pemuka pemantauan menjejak anjakan dalam data input dan sampel kualiti output LLM setiap minggu. Apabila vendor mengeluarkan versi model baharu, papan pemuka mencetuskan pengesahan semula yang disasarkan.

Masa Depan Pengurusan Risiko Model (SR 11-7) dan AI

Bank sedang mengembangkan inventori model dan membina kaedah penilaian untuk AI generatif. Penyelia telah membincangkan tadbir urus AI dalam ucapan dan permintaan untuk maklumat, tetapi sama ada kemas kini rasmi untuk panduan risiko model akan datang, dan apa yang mereka akan katakan, masih tidak pasti. Prinsip teras dalam SR 11-7 (mengetahui tujuan model, mengujinya secara bebas, mendokumenkan hadnya, memantaunya dari semasa ke semasa) terpakai dengan baik pada LLM walaupun kaedah tertentu masih diusahakan. Jangkakan perhatian yang paling banyak pada ketelusan vendor dan pemantauan berterusan.

Mempraktikkannya

Mengapa ia penting

  • Risiko dan keselamatan. Kemudaratan AI malapetaka dan setiap hari bergantung pada siapa yang memahami risiko dan siapa yang boleh bertindak.
  • Keputusan yang lebih jelas. Celik awam dan profesional membentuk sama ada dasar keselamatan yang kukuh adalah mungkin dari segi politik.
  • Memotong keterujaan. Penjelasan yang jelas mengurangkan tangkapan oleh gembar-gembur, PR makmal dan teater etika yang tidak jelas.

Berhati-hati untuk

  • Merawat risiko kewujudan sebagai sci-fi manakala sebatian keupayaan.
  • Mengelirukan keselamatan produk permukaan dengan penjajaran di bawah autonomi tinggi.
  • Meninggalkan khalayak bukan Inggeris dan bukan pakar dengan hanya sumber berkualiti rendah.

Langkah seterusnya

  1. Asingkan bahaya produk, penyalahgunaan dan kehilangan kawalan / risiko salah jajaran.
  2. Tanya apakah bukti yang akan mengubah pandangan anda tentang garis masa dan keterukan.
  3. Lebih suka sumber utama dan penilaian konkrit berbanding tuntutan pemasaran.
  4. Kenal pasti satu laluan tindakan: kerjaya, dasar, pembiayaan atau kemahiran — bukan sahaja kesedaran.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil Model Pengurusan Risiko (SR 11-7) dan kuiz AI

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Model Pengurusan Risiko (SR 11-7) dan AI?

SR 11-7 ialah panduan penyeliaan 2011 Federal Reserve mengenai pengurusan risiko model, yang dikeluarkan bersama Buletin OCC 2011-12. Ia mengharapkan bank membangun, mengesahkan, mentadbir dan memantau model yang mereka harapkan. Bank kini menggunakannya pada pembelajaran mesin dan model bahasa besar, yang membebankan pengesahan tradisional kerana model ini selalunya legap, dibekalkan oleh vendor dan tidak menentukan. Panduan itu penting kerana bank yang menggunakan AI untuk kredit, penipuan, pematuhan atau perkhidmatan pelanggan perlu menunjukkan kepada penyelia ia memahami dan mengawal cara model tersebut boleh gagal.

Dokumen OCC manakah yang dikeluarkan bersama SR 11-7 Federal Reserve pada tahun 2011?

OCC mengeluarkan panduan yang sama seperti Buletin 2011-12, jadi kedua-dua dokumen itu sering disebut bersama.

Apakah tiga elemen teras pengesahan di bawah SR 11-7?

Pengesahan meliputi sama ada reka bentuk itu baik, sama ada model terus berprestasi seperti yang diharapkan, dan bagaimana outputnya dibandingkan dengan hasil sebenar.

Apakah yang diperlukan oleh SR 11-7 agar semakan dikira sebagai "cabaran berkesan"?

Cabaran berkesan bermaksud analisis kritikal oleh orang yang berkebolehan dan bebas yang penemuannya sebenarnya membawa kepada perubahan.

Bagaimanakah bank harus mengendalikan model vendor yang butiran proprietarinya ditahan?

Model vendor masih disahkan. Apabila butiran dalaman tidak tersedia, ujian tingkah laku dan output membawa lebih berat.

Menurut panduan, yang manakah antara ini merupakan sebahagian daripada sempadan model aplikasi LLM untuk pengurusan perubahan?

Gesaan, data perolehan semula, parameter, alatan dan pagar semua membentuk output, jadi menukarnya dikira sebagai perubahan model.