GUIDA della Società

Modello di gestione del rischio (SR 11-7) e AI

SR 11-7 è la guida di vigilanza della Federal Reserve del 2011 sulla gestione del rischio di modello, pubblicata congiuntamente al Bollettino OCC 2011-12.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro del Model Risk Management (SR 11-7) e dell'intelligenza artificiale
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Si aspetta che le banche sviluppino, convalidino, governino e monitorino i modelli su cui fanno affidamento. Le banche ora lo applicano all’apprendimento automatico e ai modelli linguistici di grandi dimensioni, il che mette a dura prova la convalida tradizionale perché questi modelli sono spesso opachi, forniti dai fornitori e non deterministici. Le linee guida sono importanti perché una banca che utilizza l’intelligenza artificiale per il credito, la frode, la conformità o il servizio clienti deve dimostrare alle autorità di vigilanza di comprendere e controllare come tali modelli possano fallire.

Immersione profonda

La SR 11-7 è stata emessa nell'aprile 2011 dalla Federal Reserve insieme all'OCC e la FDIC l'ha adottata nel 2017. Definisce un modello in generale: un metodo, sistema o approccio quantitativo che applica teorie statistiche, economiche, finanziarie o matematiche per trasformare i dati di input in stime quantitative. Un modello ha una parte di input, una parte di elaborazione e una parte di reporting. Il rischio di modello deriva da due fonti: errori fondamentali nel modello e utilizzo di un modello valido in modo errato o al di fuori dello scopo previsto. La guida si basa su tre pilastri. Il primo è lo sviluppo, l'implementazione e l'utilizzo corretti. Il secondo è la convalida, che ha tre elementi fondamentali: valutazione della solidità concettuale, monitoraggio continuo (compresa la verifica dei processi e il benchmarking) e analisi dei risultati come i test retrospettivi. Il terzo è la governance: supervisione del consiglio di amministrazione e dell’alta direzione, politiche scritte, un inventario completo del modello e una documentazione sufficientemente dettagliata da consentire a chi non ha familiarità con il modello di capirne il funzionamento. In ogni sua parte, la guida richiede una “sfida efficace”, ovvero una revisione critica da parte di persone obiettive, informate, competenti e sufficientemente influenti da imporre cambiamenti. I modelli dei fornitori non ottengono alcuna esenzione. Ci si aspetta che le banche ottengano la documentazione adeguata dai fornitori. Laddove i dettagli proprietari vengono omessi, le banche dovrebbero fare maggiore affidamento sull’analisi di sensibilità, sul benchmarking e sui test dei risultati. Un malinteso comune è che SR 11-7 non raggiunga l’intelligenza artificiale perché è antecedente al moderno apprendimento automatico. La sua definizione è neutrale dal punto di vista tecnologico e i supervisori hanno considerato l’intelligenza artificiale come rientrante nel suo ambito. Le banche solitamente classificano gli strumenti di intelligenza artificiale generativa come modelli o li disciplinano nell’ambito di un quadro di rischio dell’IA più ampio che utilizza gli stessi principi di convalida. I riferimenti correlati includono l'opuscolo del Comptroller's Handbook 2021 dell'OCC sulla gestione del rischio del modello e il NIST AI Risk Management Framework, pubblicato nel gennaio 2023. Per le decisioni sul credito, i requisiti di avviso di azioni avverse ai sensi dell'Equal Credit Opportunity Act si applicano ancora quando il modello è complesso.

Implementazione nel mondo reale

Una banca aggiunge un LLM del fornitore che riassume i reclami dei clienti al proprio inventario modello, gli assegna un livello di rischio e lo fornisce a un team di convalida indipendente prima dell'uso in produzione.

I validatori creano una serie etichettata di diverse centinaia di reclami per misurare la frequenza con cui i riepiloghi del LLM tralasciano un problema che deve essere intensificato per motivi normativi. Impostano una soglia di errore accettabile prima di approvare lo strumento.

Un modello di credito basato sull’apprendimento automatico passa attraverso l’analisi dei risultati rispetto alle inadempienze effettive, oltre a test di prestito equi. I metodi di spiegazione aiutano a produrre le ragioni specifiche dell'azione avversa che i finanziatori devono fornire ai richiedenti.

Una dashboard di monitoraggio tiene traccia dei cambiamenti nei dati di input e campiona la qualità dell'output LLM ogni settimana. Quando il fornitore rilascia una nuova versione del modello, la dashboard attiva una riconvalida mirata.

Il futuro del Model Risk Management (SR 11-7) e dell'intelligenza artificiale

Le banche stanno espandendo gli inventari dei modelli e sviluppando metodi di valutazione per l’intelligenza artificiale generativa. Le autorità di vigilanza hanno discusso della governance dell’IA in discorsi e richieste di informazioni, ma se arriveranno aggiornamenti formali alle linee guida sui rischi dei modelli e cosa diranno, rimane incerto. I principi fondamentali della RS 11-7 (conoscere lo scopo del modello, testarlo in modo indipendente, documentarne i limiti, monitorarlo nel tempo) si applicano bene agli LLM anche dove metodi specifici sono ancora in fase di elaborazione. Aspettatevi la massima attenzione alla trasparenza dei fornitori e al monitoraggio continuo.

Metterlo in pratica

Perché è importante

  • Rischio e sicurezza. I danni catastrofici e quotidiani dell’IA dipendono entrambi da chi comprende i rischi e da chi può agire.
  • Decisioni più chiare. L’alfabetizzazione pubblica e professionale determina la possibilità politica di una forte politica di sicurezza.
  • Tagliare il clamore. Spiegazioni chiare riducono la cattura da parte di montature pubblicitarie, PR di laboratorio e vaghi teatrini etici.

Attenzione

  • Trattare il rischio esistenziale come fantascienza mentre le capacità si aggravano.
  • Confondere la sicurezza del prodotto superficiale con l'allineamento in condizioni di elevata autonomia.
  • Lasciando il pubblico non inglese e non esperto solo con fonti di bassa qualità.

Prossimi passi

  1. Separare i rischi di danni al prodotto, uso improprio e perdita di controllo/disallineamento.
  2. Chiedi quali prove cambierebbero la tua opinione sulle tempistiche e sulla gravità.
  3. Preferire fonti primarie e valutazioni concrete alle affermazioni di marketing.
  4. Identifica un percorso d’azione: carriera, politica, finanziamenti o competenze, non solo consapevolezza.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Model Risk Management (SR 11-7) and AI quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cos'è il Model Risk Management (SR 11-7) e l'intelligenza artificiale?

SR 11-7 è la guida di vigilanza della Federal Reserve del 2011 sulla gestione del rischio di modello, pubblicata congiuntamente al Bollettino OCC 2011-12. Si aspetta che le banche sviluppino, convalidino, governino e monitorino i modelli su cui fanno affidamento. Le banche ora lo applicano all’apprendimento automatico e ai modelli linguistici di grandi dimensioni, il che mette a dura prova la convalida tradizionale perché questi modelli sono spesso opachi, forniti dai fornitori e non deterministici. Le linee guida sono importanti perché una banca che utilizza l’intelligenza artificiale per il credito, la frode, la conformità o il servizio clienti deve dimostrare alle autorità di vigilanza di comprendere e controllare come tali modelli possano fallire.

Quale documento OCC è stato emesso insieme alla SR 11-7 della Federal Reserve nel 2011?

L'OCC ha pubblicato le stesse linee guida del Bollettino 2011-12, pertanto i due documenti sono spesso citati insieme.

Quali sono i tre elementi fondamentali della convalida ai sensi della RS 11-7?

La convalida riguarda la solidità del progetto, se il modello continua a funzionare come previsto e il confronto tra i suoi risultati e i risultati effettivi.

Cosa richiede la RS 11-7 affinché la revisione possa essere considerata una "sfida efficace"?

Una sfida efficace significa un’analisi critica da parte di persone capaci e indipendenti, i cui risultati portano effettivamente a cambiamenti.

Come dovrebbe una banca gestire un modello di fornitore i cui dati proprietari vengono nascosti?

I modelli del fornitore sono ancora convalidati. Quando i dettagli interni non sono disponibili, la verifica del comportamento e dei risultati ha più peso.

Secondo la guida, quale di questi fa parte del limite del modello di un'applicazione LLM per la gestione del cambiamento?

Prompt, dati di recupero, parametri, strumenti e guardrail modellano tutti l'output, quindi modificarli conta come una modifica del modello.