Társadalom ÚTMUTATÓ

Kockázatkezelési modell (SR 11-7) és AI

Az SR 11-7 a Federal Reserve 2011-es felügyeleti útmutatója a modellkockázatkezelésről, amelyet az OCC Bulletin 2011-2012-vel közösen adtak ki.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A modellkockázatkezelés jövője (SR 11-7) és az AI
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A bankoktól elvárja, hogy fejlesszék, érvényesítsék, irányítsák és nyomon kövessék azokat a modelleket, amelyekre támaszkodnak. A bankok ma már a gépi tanulásra és a nagy nyelvi modellekre alkalmazzák, ami megterheli a hagyományos érvényesítést, mivel ezek a modellek gyakran átláthatatlanok, szállítóktól származnak és nem determinisztikusak. Az útmutatás azért fontos, mert a mesterséges intelligenciát hitelezésre, csalásra, megfelelőségre vagy ügyfélszolgálatra használó banknak meg kell mutatnia a felügyelőknek, hogy megérti és ellenőrzi, hogy ezek a modellek hogyan hibázhatnak.

Mély merülés

Az SR 11-7-et 2011 áprilisában adta ki a Federal Reserve az OCC-vel együtt, az FDIC pedig 2017-ben fogadta el. Egy modellt tág értelemben határoz meg: kvantitatív módszert, rendszert vagy megközelítést, amely statisztikai, gazdasági, pénzügyi vagy matematikai elméleteket alkalmaz a bemeneti adatok mennyiségi becslésekké alakítására. A modellnek van egy bemeneti része, egy feldolgozó része és egy jelentéskészítő része. A modellkockázat két forrásból származik: a modell alapvető hibáiból, valamint a hangmodell helytelen vagy rendeltetésszerű használatától. Az útmutatás három pilléren nyugszik. Az első a megfelelő fejlesztés, megvalósítás és használat. A második a validálás, amelynek három alapvető eleme van: a fogalmi megalapozottság értékelése, a folyamatos monitorozás (beleértve a folyamatellenőrzést és a teljesítményértékelést), valamint az eredmények elemzése, például az utólagos tesztelés. A harmadik az irányítás: az igazgatóság és a felső vezetés felügyelete, írásos szabályzatok, teljes modellleltár és elég részletes dokumentáció ahhoz, hogy valaki, aki nem ismeri a modellt, megértse a működését. Az útmutatás mindvégig „hatékony kihívásra” szólít fel, ami azt jelenti, hogy olyan emberek kritikus értékelését végezzék el, akik kellően objektívek, tájékozottak, hozzáértők és befolyásosak ahhoz, hogy kikényszerítsék a változtatásokat. A szállítói modellek nem kapnak mentességet. A bankoknak megfelelő dokumentációt kell beszerezniük az eladóktól. A védett adatok elhallgatása esetén a bankoknak jobban kell támaszkodniuk az érzékenységi elemzésre, a benchmarkingra és az eredménytesztekre. Általános tévhit, hogy az SR 11-7 nem éri el az AI-t, mert megelőzte a modern gépi tanulást. Meghatározása technológiasemleges, és a felügyeletek a mesterséges intelligencia alkalmazási körébe tartozóként kezelték. A bankok általában vagy modellként osztályozzák a generatív AI-eszközöket, vagy egy szélesebb mesterségesintelligencia-kockázati keretrendszer szerint szabályozzák őket, amely ugyanazokat az érvényesítési elveket használja. A kapcsolódó hivatkozások közé tartozik az OCC 2021. évi Ellenőrző Kézikönyve a modellkockázatkezelésről és a NIST AI kockázatkezelési keretrendszer, amelyet 2023 januárjában adtak ki. A hiteldöntésekre az egyenlő hitellehetőségekről szóló törvény szerinti kedvezőtlen intézkedésekre vonatkozó értesítési követelmények továbbra is érvényesek, ha a modell összetett.

Valós megvalósítás

A bank hozzáad egy szállítói LLM-et, amely összefoglalja az ügyfelek panaszait a modellkészletéhez, hozzárendel egy kockázati szintet, és átadja azt egy független ellenőrző csoportnak a termelési használat előtt.

A validátorok több száz panaszból álló címkézett halmazt készítenek annak mérésére, hogy az LLM összefoglalói milyen gyakran hagynak ki olyan problémát, amelyet szabályozási okokból ki kell emelni. Az eszköz jóváhagyása előtt elfogadható hibaküszöböt határoztak meg.

A gépi tanulási kreditmodell a tényleges nemteljesítések eredményeinek elemzésén, valamint tisztességes hitelezési teszten megy keresztül. A magyarázati módszerek segítenek előállítani azokat a konkrét hátrányos indokokat, amelyeket a hitelezőknek meg kell adniuk a kérelmezőknek.

A figyelő irányítópult nyomon követi a bemeneti adatok változásait, és minden héten mintát vesz az LLM kimeneti minőségéről. Amikor a szállító kiad egy új modellverziót, az irányítópult célzott újraérvényesítést indít el.

A modellkockázatkezelés jövője (SR 11-7) és az AI

A bankok bővítik modellkészleteiket és kidolgozzák a generatív mesterséges intelligencia értékelési módszereit. A felügyelők beszédekben és információkérésekben vitatták meg a mesterséges intelligencia irányítását, de hogy jön-e hivatalos frissítés a kockázati útmutatás modelljéhez, és mit mondanak, az továbbra is bizonytalan. Az SR 11-7 alapelvei (ismerje a modell célját, önállóan tesztelje, dokumentálja határait, figyelemmel kísérje az idő múlásával) jól alkalmazható az LLM-ekre, még akkor is, ha konkrét módszerek kidolgozása még folyamatban van. A legnagyobb figyelmet a szállítói átláthatóságra és a folyamatos figyelésre számíthatja.

A gyakorlatba ültetés

Miért számít

  • Kockázat és biztonság. A katasztrofális és a mindennapi mesterséges intelligencia okozta károk egyaránt attól függnek, hogy ki érti a kockázatokat, és ki tud cselekedni.
  • Tisztább döntések. A közéleti és szakmai műveltség határozza meg, hogy politikailag lehetséges-e az erős biztonsági politika.
  • Átvágva a felhajtáson. A világos magyarázatok csökkentik a hírverés, a laboratóriumi PR és a homályos etikai színház általi elkapását.

Vigyázz

  • Az egzisztenciális kockázat sci-fiként való kezelése, miközben a képesség összetett.
  • Zavaros felületi termékbiztonság a nagy autonómia melletti igazítással.
  • A nem angol nyelvű és nem szakértő közönségnek csak rossz minőségű forrásokat kell hagynia.

Következő lépések

  1. Különítse el a termékkárok, a visszaélések és az ellenőrzés elvesztésének/hibás beállításának kockázatait.
  2. Kérdezd meg, milyen bizonyítékok változtatnák meg az idővonalakról és a súlyosságról alkotott nézetedet.
  3. Részesítse előnyben az elsődleges forrásokat és a konkrét értékeléseket a marketinges állításokkal szemben.
  4. Határozzon meg egy cselekvési utat: karrier, politika, finanszírozás vagy készségek – nem csak a tudatosság.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Model Risk Management (SR 11-7) and AI quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a modellkockázatkezelés (SR 11-7) és az AI?

Az SR 11-7 a Federal Reserve 2011-es felügyeleti útmutatója a modellkockázatkezelésről, amelyet az OCC Bulletin 2011-2012-vel közösen adtak ki. A bankoktól elvárja, hogy fejlesszék, érvényesítsék, irányítsák és nyomon kövessék azokat a modelleket, amelyekre támaszkodnak. A bankok ma már a gépi tanulásra és a nagy nyelvi modellekre alkalmazzák, ami megterheli a hagyományos érvényesítést, mivel ezek a modellek gyakran átláthatatlanok, szállítóktól származnak és nem determinisztikusak. Az útmutatás azért fontos, mert a mesterséges intelligenciát hitelezésre, csalásra, megfelelőségre vagy ügyfélszolgálatra használó banknak meg kell mutatnia a felügyelőknek, hogy megérti és ellenőrzi, hogy ezek a modellek hogyan hibázhatnak.

Melyik OCC dokumentumot adták ki a Federal Reserve SR 11-7-je mellett 2011-ben?

Az OCC ugyanazt az útmutatást adta ki, mint a Bulletin 2011–2012, ezért a két dokumentumot gyakran együtt idézik.

Mi az SR 11-7 szerinti érvényesítés három alapvető eleme?

Az érvényesítés kiterjed arra, hogy a terv megbízható-e, hogy a modell továbbra is a tervezettnek megfelelően teljesít-e, és hogyan viszonyul az eredmények a tényleges eredményekhez.

Mire van szükség az SR 11-7-ben ahhoz, hogy a felülvizsgálat „hatékony kihívásnak” minősüljön?

A hatékony kihívás azt jelenti, hogy kritikus elemzést végeznek rátermett, független emberek, akiknek eredményei valóban változásokhoz vezetnek.

Hogyan kezelje a bank azt a szállítói modellt, amelynek tulajdonosi adatait visszatartják?

A szállítói modellek még érvényesek. Ha a belső részletek nem állnak rendelkezésre, a viselkedés és a kimenetek tesztelése nagyobb súllyal bír.

Az útmutató szerint ezek közül melyik része egy LLM-alkalmazás változáskezelési modellhatárának?

A promptok, a visszakeresési adatok, a paraméterek, az eszközök és a védőkorlátok mind alakítják a kimenetet, így ezek megváltoztatása modellváltásnak számít.