GUÍA de sociedad

Modelo de Gestión de Riesgos (SR 11-7) e IA

SR 11-7 es la guía de supervisión de 2011 de la Reserva Federal sobre la gestión de riesgos de modelos, publicada conjuntamente con el Boletín OCC 2011-12.

Escuche esta guíaNarrado por IA · ~3 min

En esta pagina4 minutos de lectura
  1. Descripción general
  2. Buceo profundo
  3. Implementación en el mundo real
  4. El futuro de la gestión de riesgos de modelos (SR 11-7) y la IA
  5. Poniéndolo en práctica
  6. Sigue explorando
  7. Preguntas frecuentes

Descripción general

Se espera que los bancos desarrollen, validen, gobiernen y supervisen los modelos en los que confían. Los bancos ahora lo aplican al aprendizaje automático y a grandes modelos de lenguaje, lo que pone a prueba la validación tradicional porque estos modelos suelen ser opacos, proporcionados por proveedores y no deterministas. La orientación es importante porque un banco que utiliza IA para crédito, fraude, cumplimiento o servicio al cliente tiene que demostrar a los supervisores que comprende y controla cómo esos modelos pueden fallar.

Buceo profundo

La SR 11-7 fue emitida en abril de 2011 por la Reserva Federal junto con la OCC, y la FDIC la adoptó en 2017. Define un modelo en términos generales: un método, sistema o enfoque cuantitativo que aplica teorías estadísticas, económicas, financieras o matemáticas para convertir datos de entrada en estimaciones cuantitativas. Un modelo tiene una parte de entrada, una parte de procesamiento y una parte de informes. El riesgo del modelo proviene de dos fuentes: errores fundamentales en el modelo y el uso incorrecto de un modelo sólido o fuera de su propósito previsto. La orientación se basa en tres pilares. El primero es un desarrollo, implementación y uso sólidos. El segundo es la validación, que tiene tres elementos centrales: evaluación de la solidez conceptual, monitoreo continuo (incluida la verificación del proceso y la evaluación comparativa) y análisis de resultados, como pruebas retrospectivas. El tercero es la gobernanza: supervisión de la junta directiva y de la alta dirección, políticas escritas, un inventario completo del modelo y documentación lo suficientemente detallada como para que alguien que no esté familiarizado con el modelo pueda entender cómo funciona. En todo momento, la guía exige un "desafío efectivo", es decir, una revisión crítica por parte de personas que sean lo suficientemente objetivas, informadas, competentes e influyentes para forzar cambios. Los modelos de proveedores no obtienen exención. Se espera que los bancos obtengan la documentación adecuada de los proveedores. Cuando se retienen detalles de propiedad exclusiva, los bancos deberían confiar más en análisis de sensibilidad, evaluaciones comparativas y pruebas de resultados. Un error común es pensar que SR 11-7 no llega a la IA porque es anterior al aprendizaje automático moderno. Su definición es tecnológicamente neutral y los supervisores han tratado la IA como dentro de su alcance. Los bancos normalmente clasifican las herramientas de IA generativa como modelos o las rigen bajo un marco de riesgo de IA más amplio que utiliza los mismos principios de validación. Las referencias relacionadas incluyen el manual del Contralor de 2021 de la OCC sobre la gestión de riesgos de modelos y el marco de gestión de riesgos de IA del NIST, publicado en enero de 2023. Para las decisiones crediticias, los requisitos de notificación de acciones adversas según la Ley de Igualdad de Oportunidades Crediticias aún se aplican cuando el modelo es complejo.

Implementación en el mundo real

Un banco agrega un LLM de proveedor que resume las quejas de los clientes en su inventario de modelos, le asigna un nivel de riesgo y se lo entrega a un equipo de validación independiente antes de su uso en producción.

Los validadores crean un conjunto etiquetado de varios cientos de quejas para medir la frecuencia con la que los resúmenes del LLM omiten un problema que debe escalarse por razones regulatorias. Establecen un umbral de error aceptable antes de aprobar la herramienta.

Un modelo de crédito de aprendizaje automático pasa por un análisis de resultados frente a los incumplimientos reales, además de pruebas de préstamos justos. Los métodos de explicación ayudan a generar las razones específicas de acción adversa que los prestamistas deben dar a los solicitantes.

Un panel de control rastrea los cambios en los datos de entrada y toma muestras de la calidad de los resultados de LLM cada semana. Cuando el proveedor lanza una nueva versión del modelo, el panel activa una revalidación específica.

El futuro de la gestión de riesgos de modelos (SR 11-7) y la IA

Los bancos están ampliando los inventarios de modelos y creando métodos de evaluación para la IA generativa. Los supervisores han discutido la gobernanza de la IA en discursos y solicitudes de información, pero sigue siendo incierto si se producirán actualizaciones formales de la guía de riesgos del modelo y qué dirían. Los principios básicos del SR 11-7 (conocer el propósito del modelo, probarlo de forma independiente, documentar sus límites, monitorearlo a lo largo del tiempo) se aplican bien a los LLM incluso cuando todavía se están desarrollando métodos específicos. Espere la mayor atención a la transparencia de los proveedores y al monitoreo continuo.

Poniéndolo en práctica

Por qué es importante

  • Riesgo y seguridad. Los daños catastróficos y cotidianos de la IA dependen de quién comprende los riesgos y quién puede actuar.
  • Decisiones más claras. La alfabetización pública y profesional determina si es políticamente posible una política de seguridad sólida.
  • Cortando el bombo. Las explicaciones claras reducen la captación por la exageración, las relaciones públicas de laboratorio y el vago teatro de ética.

cuidado con

  • Tratar el riesgo existencial como ciencia ficción mientras que la capacidad se agrava.
  • Confundir la seguridad del producto superficial con la alineación en condiciones de alta autonomía.
  • Dejando a las audiencias que no hablan inglés ni a expertos solo con fuentes de baja calidad.

Próximos pasos

  1. Separe los riesgos de daños al producto, mal uso y pérdida de control/desalineación.
  2. Pregunte qué evidencia cambiaría su opinión sobre los plazos y la gravedad.
  3. Prefiera fuentes primarias y evaluaciones concretas a afirmaciones de marketing.
  4. Identifique un camino de acción: carrera, política, financiamiento o habilidades, no solo concientización.

Sigue explorando

Boletín gratuito

Recibe el resumen diario de IA

Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.

Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.

Ponte a prueba

Take the Model Risk Management (SR 11-7) and AI quiz

Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.

Empezar el cuestionario

Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación

Preguntas frecuentes

¿Qué es la gestión de riesgos de modelos (SR 11-7) y la IA?

SR 11-7 es la guía de supervisión de 2011 de la Reserva Federal sobre la gestión de riesgos de modelos, publicada conjuntamente con el Boletín OCC 2011-12. Se espera que los bancos desarrollen, validen, gobiernen y supervisen los modelos en los que confían. Los bancos ahora lo aplican al aprendizaje automático y a grandes modelos de lenguaje, lo que pone a prueba la validación tradicional porque estos modelos suelen ser opacos, proporcionados por proveedores y no deterministas. La orientación es importante porque un banco que utiliza IA para crédito, fraude, cumplimiento o servicio al cliente tiene que demostrar a los supervisores que comprende y controla cómo esos modelos pueden fallar.

¿Qué documento de la OCC se emitió junto con el SR 11-7 de la Reserva Federal en 2011?

La OCC emitió la misma guía que el Boletín 2011-12, por lo que los dos documentos a menudo se citan juntos.

¿Cuáles son los tres elementos centrales de la validación según la SR 11-7?

La validación cubre si el diseño es sólido, si el modelo sigue funcionando según lo previsto y cómo se comparan sus resultados con los resultados reales.

¿Qué exige la SR 11-7 para que la revisión cuente como "impugnación efectiva"?

Un desafío eficaz significa un análisis crítico realizado por personas capaces e independientes cuyos hallazgos realmente conduzcan a cambios.

¿Cómo debería manejar un banco un modelo de proveedor cuyos datos de propiedad se retienen?

Los modelos de proveedores aún están validados. Cuando los detalles internos no están disponibles, las pruebas de comportamiento y resultados tienen más peso.

Según la guía, ¿cuál de estos es parte del límite del modelo de gestión de cambios de una aplicación LLM?

Las indicaciones, los datos de recuperación, los parámetros, las herramientas y las barreras de seguridad dan forma a la salida, por lo que cambiarlos cuenta como un cambio de modelo.