LegközelebbKövetkező útmutató
NIST AI kockázatkezelési keretrendszer
Társadalom
Társadalom ÚTMUTATÓ
Az SR 11-7 a Federal Reserve 2011-es felügyeleti útmutatója a modellkockázatkezelésről, amelyet az OCC Bulletin 2011-2012-vel közösen adtak ki.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
A bankoktól elvárja, hogy fejlesszék, érvényesítsék, irányítsák és nyomon kövessék azokat a modelleket, amelyekre támaszkodnak. A bankok ma már a gépi tanulásra és a nagy nyelvi modellekre alkalmazzák, ami megterheli a hagyományos érvényesítést, mivel ezek a modellek gyakran átláthatatlanok, szállítóktól származnak és nem determinisztikusak. Az útmutatás azért fontos, mert a mesterséges intelligenciát hitelezésre, csalásra, megfelelőségre vagy ügyfélszolgálatra használó banknak meg kell mutatnia a felügyelőknek, hogy megérti és ellenőrzi, hogy ezek a modellek hogyan hibázhatnak.
Az SR 11-7-et 2011 áprilisában adta ki a Federal Reserve az OCC-vel együtt, az FDIC pedig 2017-ben fogadta el. Egy modellt tág értelemben határoz meg: kvantitatív módszert, rendszert vagy megközelítést, amely statisztikai, gazdasági, pénzügyi vagy matematikai elméleteket alkalmaz a bemeneti adatok mennyiségi becslésekké alakítására. A modellnek van egy bemeneti része, egy feldolgozó része és egy jelentéskészítő része. A modellkockázat két forrásból származik: a modell alapvető hibáiból, valamint a hangmodell helytelen vagy rendeltetésszerű használatától. Az útmutatás három pilléren nyugszik. Az első a megfelelő fejlesztés, megvalósítás és használat. A második a validálás, amelynek három alapvető eleme van: a fogalmi megalapozottság értékelése, a folyamatos monitorozás (beleértve a folyamatellenőrzést és a teljesítményértékelést), valamint az eredmények elemzése, például az utólagos tesztelés. A harmadik az irányítás: az igazgatóság és a felső vezetés felügyelete, írásos szabályzatok, teljes modellleltár és elég részletes dokumentáció ahhoz, hogy valaki, aki nem ismeri a modellt, megértse a működését. Az útmutatás mindvégig „hatékony kihívásra” szólít fel, ami azt jelenti, hogy olyan emberek kritikus értékelését végezzék el, akik kellően objektívek, tájékozottak, hozzáértők és befolyásosak ahhoz, hogy kikényszerítsék a változtatásokat. A szállítói modellek nem kapnak mentességet. A bankoknak megfelelő dokumentációt kell beszerezniük az eladóktól. A védett adatok elhallgatása esetén a bankoknak jobban kell támaszkodniuk az érzékenységi elemzésre, a benchmarkingra és az eredménytesztekre. Általános tévhit, hogy az SR 11-7 nem éri el az AI-t, mert megelőzte a modern gépi tanulást. Meghatározása technológiasemleges, és a felügyeletek a mesterséges intelligencia alkalmazási körébe tartozóként kezelték. A bankok általában vagy modellként osztályozzák a generatív AI-eszközöket, vagy egy szélesebb mesterségesintelligencia-kockázati keretrendszer szerint szabályozzák őket, amely ugyanazokat az érvényesítési elveket használja. A kapcsolódó hivatkozások közé tartozik az OCC 2021. évi Ellenőrző Kézikönyve a modellkockázatkezelésről és a NIST AI kockázatkezelési keretrendszer, amelyet 2023 januárjában adtak ki. A hiteldöntésekre az egyenlő hitellehetőségekről szóló törvény szerinti kedvezőtlen intézkedésekre vonatkozó értesítési követelmények továbbra is érvényesek, ha a modell összetett.
A bank hozzáad egy szállítói LLM-et, amely összefoglalja az ügyfelek panaszait a modellkészletéhez, hozzárendel egy kockázati szintet, és átadja azt egy független ellenőrző csoportnak a termelési használat előtt.
A validátorok több száz panaszból álló címkézett halmazt készítenek annak mérésére, hogy az LLM összefoglalói milyen gyakran hagynak ki olyan problémát, amelyet szabályozási okokból ki kell emelni. Az eszköz jóváhagyása előtt elfogadható hibaküszöböt határoztak meg.
A gépi tanulási kreditmodell a tényleges nemteljesítések eredményeinek elemzésén, valamint tisztességes hitelezési teszten megy keresztül. A magyarázati módszerek segítenek előállítani azokat a konkrét hátrányos indokokat, amelyeket a hitelezőknek meg kell adniuk a kérelmezőknek.
A figyelő irányítópult nyomon követi a bemeneti adatok változásait, és minden héten mintát vesz az LLM kimeneti minőségéről. Amikor a szállító kiad egy új modellverziót, az irányítópult célzott újraérvényesítést indít el.
A bankok bővítik modellkészleteiket és kidolgozzák a generatív mesterséges intelligencia értékelési módszereit. A felügyelők beszédekben és információkérésekben vitatták meg a mesterséges intelligencia irányítását, de hogy jön-e hivatalos frissítés a kockázati útmutatás modelljéhez, és mit mondanak, az továbbra is bizonytalan. Az SR 11-7 alapelvei (ismerje a modell célját, önállóan tesztelje, dokumentálja határait, figyelemmel kísérje az idő múlásával) jól alkalmazható az LLM-ekre, még akkor is, ha konkrét módszerek kidolgozása még folyamatban van. A legnagyobb figyelmet a szállítói átláthatóságra és a folyamatos figyelésre számíthatja.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az SR 11-7 a Federal Reserve 2011-es felügyeleti útmutatója a modellkockázatkezelésről, amelyet az OCC Bulletin 2011-2012-vel közösen adtak ki. A bankoktól elvárja, hogy fejlesszék, érvényesítsék, irányítsák és nyomon kövessék azokat a modelleket, amelyekre támaszkodnak. A bankok ma már a gépi tanulásra és a nagy nyelvi modellekre alkalmazzák, ami megterheli a hagyományos érvényesítést, mivel ezek a modellek gyakran átláthatatlanok, szállítóktól származnak és nem determinisztikusak. Az útmutatás azért fontos, mert a mesterséges intelligenciát hitelezésre, csalásra, megfelelőségre vagy ügyfélszolgálatra használó banknak meg kell mutatnia a felügyelőknek, hogy megérti és ellenőrzi, hogy ezek a modellek hogyan hibázhatnak.
Az OCC ugyanazt az útmutatást adta ki, mint a Bulletin 2011–2012, ezért a két dokumentumot gyakran együtt idézik.
Az érvényesítés kiterjed arra, hogy a terv megbízható-e, hogy a modell továbbra is a tervezettnek megfelelően teljesít-e, és hogyan viszonyul az eredmények a tényleges eredményekhez.
A hatékony kihívás azt jelenti, hogy kritikus elemzést végeznek rátermett, független emberek, akiknek eredményei valóban változásokhoz vezetnek.
A szállítói modellek még érvényesek. Ha a belső részletek nem állnak rendelkezésre, a viselkedés és a kimenetek tesztelése nagyobb súllyal bír.
A promptok, a visszakeresési adatok, a paraméterek, az eszközök és a védőkorlátok mind alakítják a kimenetet, így ezek megváltoztatása modellváltásnak számít.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
NIST AI kockázatkezelési keretrendszer
Társadalom