Kvíz spojený s průvodcem · Těžko úroveň
Model Risk Management (SR 11-7) a AI Quiz
Testuje tři ověřovací prvky SR 11-7, efektivní výzvu, očekávání modelu dodavatele a jak banky definují hranice modelu LLM.
Otázka 1 z 8
Který dokument OCC byl vydán vedle SR 11-7 Federálního rezervního systému v roce 2011?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Který dokument OCC byl vydán vedle SR 11-7 Federálního rezervního systému v roce 2011?
- Bulletin OCC 2013-29
- Příručka kontrolora o likviditě
- Bulletin OCC 2011-12
- Výkladový dopis OCC 1170
- Jaké jsou tři základní prvky validace podle SR 11-7?
- Hodnocení koncepční správnosti, průběžné monitorování a analýza výsledků
- Sběr dat, modelový trénink a nasazení
- Schválení představenstva, certifikace prodejce a roční audit
- Zátěžové testování, kapitálové plánování a kontrola likvidity
- Co vyžaduje SR 11-7 ke kontrole, aby se považovala za „účinnou výzvu“?
- Že vývojář modelu schvaluje jejich vlastní práci
- That a vendor certifies the model
- That the model passes a public benchmark
- That reviewers are objective, informed, competent and have enough influence to force changes
- How should a bank handle a vendor model whose proprietary details are withheld?
- Exempt it from validation because the vendor is responsible
- Rely more on sensitivity analysis, benchmarking and outcomes testing
- Use it only for internal reporting
- Replace it with a model built in-house immediately
- According to the guide, which of these is part of an LLM application's model boundary for change management?
- The bank's office locations
- The customer's device type
- The system prompt and retrieval corpus
- The validator's job title
- Why does the guide recommend running repeated samples when testing an LLM?
- Jeho výstupy se mohou mezi běhy lišit, takže je třeba změřit rozptyl
- Regulátory vyžadují přesně deset běhů
- Opakované běhy dělají model přesnější
- Snižuje licenční poplatky prodejce
- Proč průvodce říká, že SR 11-7 platí pro AI, i když byl napsán v roce 2011?
- Kongres to upravil v roce 2023
- Jeho definice modelu je technologicky neutrální
- Jednoznačně pojmenovává neuronové sítě
- Požadovali to prodejci AI
- Kdy FDIC přijala pokyny k rizikům modelu SR 11-7?
- 2008
- 2011
- 2014
- 2017