A continuaciónSiguiente guía
Marco de gestión de riesgos de IA del NIST
sociedad
GUÍA de sociedad
SR 11-7 es la guía de supervisión de 2011 de la Reserva Federal sobre la gestión de riesgos de modelos, publicada conjuntamente con el Boletín OCC 2011-12.
Escuche esta guíaNarrado por IA · ~3 min
Se espera que los bancos desarrollen, validen, gobiernen y supervisen los modelos en los que confían. Los bancos ahora lo aplican al aprendizaje automático y a grandes modelos de lenguaje, lo que pone a prueba la validación tradicional porque estos modelos suelen ser opacos, proporcionados por proveedores y no deterministas. La orientación es importante porque un banco que utiliza IA para crédito, fraude, cumplimiento o servicio al cliente tiene que demostrar a los supervisores que comprende y controla cómo esos modelos pueden fallar.
La SR 11-7 fue emitida en abril de 2011 por la Reserva Federal junto con la OCC, y la FDIC la adoptó en 2017. Define un modelo en términos generales: un método, sistema o enfoque cuantitativo que aplica teorías estadísticas, económicas, financieras o matemáticas para convertir datos de entrada en estimaciones cuantitativas. Un modelo tiene una parte de entrada, una parte de procesamiento y una parte de informes. El riesgo del modelo proviene de dos fuentes: errores fundamentales en el modelo y el uso incorrecto de un modelo sólido o fuera de su propósito previsto. La orientación se basa en tres pilares. El primero es un desarrollo, implementación y uso sólidos. El segundo es la validación, que tiene tres elementos centrales: evaluación de la solidez conceptual, monitoreo continuo (incluida la verificación del proceso y la evaluación comparativa) y análisis de resultados, como pruebas retrospectivas. El tercero es la gobernanza: supervisión de la junta directiva y de la alta dirección, políticas escritas, un inventario completo del modelo y documentación lo suficientemente detallada como para que alguien que no esté familiarizado con el modelo pueda entender cómo funciona. En todo momento, la guía exige un "desafío efectivo", es decir, una revisión crítica por parte de personas que sean lo suficientemente objetivas, informadas, competentes e influyentes para forzar cambios. Los modelos de proveedores no obtienen exención. Se espera que los bancos obtengan la documentación adecuada de los proveedores. Cuando se retienen detalles de propiedad exclusiva, los bancos deberían confiar más en análisis de sensibilidad, evaluaciones comparativas y pruebas de resultados. Un error común es pensar que SR 11-7 no llega a la IA porque es anterior al aprendizaje automático moderno. Su definición es tecnológicamente neutral y los supervisores han tratado la IA como dentro de su alcance. Los bancos normalmente clasifican las herramientas de IA generativa como modelos o las rigen bajo un marco de riesgo de IA más amplio que utiliza los mismos principios de validación. Las referencias relacionadas incluyen el manual del Contralor de 2021 de la OCC sobre la gestión de riesgos de modelos y el marco de gestión de riesgos de IA del NIST, publicado en enero de 2023. Para las decisiones crediticias, los requisitos de notificación de acciones adversas según la Ley de Igualdad de Oportunidades Crediticias aún se aplican cuando el modelo es complejo.
Un banco agrega un LLM de proveedor que resume las quejas de los clientes en su inventario de modelos, le asigna un nivel de riesgo y se lo entrega a un equipo de validación independiente antes de su uso en producción.
Los validadores crean un conjunto etiquetado de varios cientos de quejas para medir la frecuencia con la que los resúmenes del LLM omiten un problema que debe escalarse por razones regulatorias. Establecen un umbral de error aceptable antes de aprobar la herramienta.
Un modelo de crédito de aprendizaje automático pasa por un análisis de resultados frente a los incumplimientos reales, además de pruebas de préstamos justos. Los métodos de explicación ayudan a generar las razones específicas de acción adversa que los prestamistas deben dar a los solicitantes.
Un panel de control rastrea los cambios en los datos de entrada y toma muestras de la calidad de los resultados de LLM cada semana. Cuando el proveedor lanza una nueva versión del modelo, el panel activa una revalidación específica.
Los bancos están ampliando los inventarios de modelos y creando métodos de evaluación para la IA generativa. Los supervisores han discutido la gobernanza de la IA en discursos y solicitudes de información, pero sigue siendo incierto si se producirán actualizaciones formales de la guía de riesgos del modelo y qué dirían. Los principios básicos del SR 11-7 (conocer el propósito del modelo, probarlo de forma independiente, documentar sus límites, monitorearlo a lo largo del tiempo) se aplican bien a los LLM incluso cuando todavía se están desarrollando métodos específicos. Espere la mayor atención a la transparencia de los proveedores y al monitoreo continuo.
Boletín gratuito
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
SR 11-7 es la guía de supervisión de 2011 de la Reserva Federal sobre la gestión de riesgos de modelos, publicada conjuntamente con el Boletín OCC 2011-12. Se espera que los bancos desarrollen, validen, gobiernen y supervisen los modelos en los que confían. Los bancos ahora lo aplican al aprendizaje automático y a grandes modelos de lenguaje, lo que pone a prueba la validación tradicional porque estos modelos suelen ser opacos, proporcionados por proveedores y no deterministas. La orientación es importante porque un banco que utiliza IA para crédito, fraude, cumplimiento o servicio al cliente tiene que demostrar a los supervisores que comprende y controla cómo esos modelos pueden fallar.
La OCC emitió la misma guía que el Boletín 2011-12, por lo que los dos documentos a menudo se citan juntos.
La validación cubre si el diseño es sólido, si el modelo sigue funcionando según lo previsto y cómo se comparan sus resultados con los resultados reales.
Un desafío eficaz significa un análisis crítico realizado por personas capaces e independientes cuyos hallazgos realmente conduzcan a cambios.
Los modelos de proveedores aún están validados. Cuando los detalles internos no están disponibles, las pruebas de comportamiento y resultados tienen más peso.
Las indicaciones, los datos de recuperación, los parámetros, las herramientas y las barreras de seguridad dan forma a la salida, por lo que cambiarlos cuenta como un cambio de modelo.
sigue aprendiendo
Más guías seleccionadas para este tema.
A continuaciónSiguiente guía
Marco de gestión de riesgos de IA del NIST
sociedad