Il prossimoProssima guida
Quadro di gestione del rischio AI del NIST
Società
GUIDA della Società
SR 11-7 è la guida di vigilanza della Federal Reserve del 2011 sulla gestione del rischio di modello, pubblicata congiuntamente al Bollettino OCC 2011-12.
Ascolta questa guidaNarrato dall'IA · ~3 min
Si aspetta che le banche sviluppino, convalidino, governino e monitorino i modelli su cui fanno affidamento. Le banche ora lo applicano all’apprendimento automatico e ai modelli linguistici di grandi dimensioni, il che mette a dura prova la convalida tradizionale perché questi modelli sono spesso opachi, forniti dai fornitori e non deterministici. Le linee guida sono importanti perché una banca che utilizza l’intelligenza artificiale per il credito, la frode, la conformità o il servizio clienti deve dimostrare alle autorità di vigilanza di comprendere e controllare come tali modelli possano fallire.
La SR 11-7 è stata emessa nell'aprile 2011 dalla Federal Reserve insieme all'OCC e la FDIC l'ha adottata nel 2017. Definisce un modello in generale: un metodo, sistema o approccio quantitativo che applica teorie statistiche, economiche, finanziarie o matematiche per trasformare i dati di input in stime quantitative. Un modello ha una parte di input, una parte di elaborazione e una parte di reporting. Il rischio di modello deriva da due fonti: errori fondamentali nel modello e utilizzo di un modello valido in modo errato o al di fuori dello scopo previsto. La guida si basa su tre pilastri. Il primo è lo sviluppo, l'implementazione e l'utilizzo corretti. Il secondo è la convalida, che ha tre elementi fondamentali: valutazione della solidità concettuale, monitoraggio continuo (compresa la verifica dei processi e il benchmarking) e analisi dei risultati come i test retrospettivi. Il terzo è la governance: supervisione del consiglio di amministrazione e dell’alta direzione, politiche scritte, un inventario completo del modello e una documentazione sufficientemente dettagliata da consentire a chi non ha familiarità con il modello di capirne il funzionamento. In ogni sua parte, la guida richiede una “sfida efficace”, ovvero una revisione critica da parte di persone obiettive, informate, competenti e sufficientemente influenti da imporre cambiamenti. I modelli dei fornitori non ottengono alcuna esenzione. Ci si aspetta che le banche ottengano la documentazione adeguata dai fornitori. Laddove i dettagli proprietari vengono omessi, le banche dovrebbero fare maggiore affidamento sull’analisi di sensibilità, sul benchmarking e sui test dei risultati. Un malinteso comune è che SR 11-7 non raggiunga l’intelligenza artificiale perché è antecedente al moderno apprendimento automatico. La sua definizione è neutrale dal punto di vista tecnologico e i supervisori hanno considerato l’intelligenza artificiale come rientrante nel suo ambito. Le banche solitamente classificano gli strumenti di intelligenza artificiale generativa come modelli o li disciplinano nell’ambito di un quadro di rischio dell’IA più ampio che utilizza gli stessi principi di convalida. I riferimenti correlati includono l'opuscolo del Comptroller's Handbook 2021 dell'OCC sulla gestione del rischio del modello e il NIST AI Risk Management Framework, pubblicato nel gennaio 2023. Per le decisioni sul credito, i requisiti di avviso di azioni avverse ai sensi dell'Equal Credit Opportunity Act si applicano ancora quando il modello è complesso.
Una banca aggiunge un LLM del fornitore che riassume i reclami dei clienti al proprio inventario modello, gli assegna un livello di rischio e lo fornisce a un team di convalida indipendente prima dell'uso in produzione.
I validatori creano una serie etichettata di diverse centinaia di reclami per misurare la frequenza con cui i riepiloghi del LLM tralasciano un problema che deve essere intensificato per motivi normativi. Impostano una soglia di errore accettabile prima di approvare lo strumento.
Un modello di credito basato sull’apprendimento automatico passa attraverso l’analisi dei risultati rispetto alle inadempienze effettive, oltre a test di prestito equi. I metodi di spiegazione aiutano a produrre le ragioni specifiche dell'azione avversa che i finanziatori devono fornire ai richiedenti.
Una dashboard di monitoraggio tiene traccia dei cambiamenti nei dati di input e campiona la qualità dell'output LLM ogni settimana. Quando il fornitore rilascia una nuova versione del modello, la dashboard attiva una riconvalida mirata.
Le banche stanno espandendo gli inventari dei modelli e sviluppando metodi di valutazione per l’intelligenza artificiale generativa. Le autorità di vigilanza hanno discusso della governance dell’IA in discorsi e richieste di informazioni, ma se arriveranno aggiornamenti formali alle linee guida sui rischi dei modelli e cosa diranno, rimane incerto. I principi fondamentali della RS 11-7 (conoscere lo scopo del modello, testarlo in modo indipendente, documentarne i limiti, monitorarlo nel tempo) si applicano bene agli LLM anche dove metodi specifici sono ancora in fase di elaborazione. Aspettatevi la massima attenzione alla trasparenza dei fornitori e al monitoraggio continuo.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
SR 11-7 è la guida di vigilanza della Federal Reserve del 2011 sulla gestione del rischio di modello, pubblicata congiuntamente al Bollettino OCC 2011-12. Si aspetta che le banche sviluppino, convalidino, governino e monitorino i modelli su cui fanno affidamento. Le banche ora lo applicano all’apprendimento automatico e ai modelli linguistici di grandi dimensioni, il che mette a dura prova la convalida tradizionale perché questi modelli sono spesso opachi, forniti dai fornitori e non deterministici. Le linee guida sono importanti perché una banca che utilizza l’intelligenza artificiale per il credito, la frode, la conformità o il servizio clienti deve dimostrare alle autorità di vigilanza di comprendere e controllare come tali modelli possano fallire.
L'OCC ha pubblicato le stesse linee guida del Bollettino 2011-12, pertanto i due documenti sono spesso citati insieme.
La convalida riguarda la solidità del progetto, se il modello continua a funzionare come previsto e il confronto tra i suoi risultati e i risultati effettivi.
Una sfida efficace significa un’analisi critica da parte di persone capaci e indipendenti, i cui risultati portano effettivamente a cambiamenti.
I modelli del fornitore sono ancora convalidati. Quando i dettagli interni non sono disponibili, la verifica del comportamento e dei risultati ha più peso.
Prompt, dati di recupero, parametri, strumenti e guardrail modellano tutti l'output, quindi modificarli conta come una modifica del modello.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Quadro di gestione del rischio AI del NIST
Società