ДалееСледующее руководство
Система управления рисками НИСТ в области искусственного интеллекта
Общество
РУКОВОДСТВО ПО ОБЩЕСТВУ
SR 11-7 — это надзорное руководство Федеральной резервной системы по модельному управлению рисками от 2011 года, выпущенное совместно с Бюллетенем OCC 2011-12.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Он ожидает, что банки будут разрабатывать, проверять, управлять и контролировать модели, на которые они полагаются. Банки теперь применяют его к машинному обучению и большим языковым моделям, что усложняет традиционную проверку, поскольку эти модели часто непрозрачны, поставляются поставщиками и недетерминированы. Это руководство имеет значение, поскольку банк, использующий ИИ для кредитования, мошенничества, соблюдения требований или обслуживания клиентов, должен продемонстрировать надзорным органам, что он понимает и контролирует, почему эти модели могут потерпеть неудачу.
SR 11-7 был выпущен в апреле 2011 года Федеральной резервной системой совместно с OCC, а FDIC принял его в 2017 году. Он определяет модель в широком смысле: количественный метод, систему или подход, который применяет статистические, экономические, финансовые или математические теории для преобразования входных данных в количественные оценки. Модель имеет входную часть, часть обработки и часть отчетности. Модельный риск возникает из двух источников: фундаментальные ошибки в модели и неправильное использование надежной модели или не по ее прямому назначению. Руководство опирается на три столпа. Во-первых, это разумная разработка, внедрение и использование. Второй — это валидация, которая состоит из трех основных элементов: оценка концептуальной обоснованности, постоянный мониторинг (включая проверку процесса и сравнительный анализ) и анализ результатов, например, бэк-тестирование. Третий — управление: надзор со стороны совета директоров и высшего руководства, письменные политики, полный перечень моделей и достаточно подробная документация, чтобы человек, незнакомый с моделью, мог понять, как она работает. На протяжении всего руководства содержится призыв к «эффективному вызову», то есть к критическому анализу со стороны людей, которые объективны, информированы, компетентны и достаточно влиятельны, чтобы вызвать изменения. Модели поставщиков не подлежат освобождению. Ожидается, что банки получат соответствующую документацию от поставщиков. Там, где конфиденциальная информация не раскрывается, банкам следует больше полагаться на анализ чувствительности, сравнительный анализ и тестирование результатов. Распространенным заблуждением является то, что SR 11-7 не достигает ИИ, потому что он появился раньше современного машинного обучения. Его определение является нейтральным с точки зрения технологий, и надзорные органы рассматривают ИИ как область применения. Банки обычно либо классифицируют инструменты генеративного ИИ как модели, либо управляют ими в рамках более широкой системы рисков ИИ, в которой используются те же принципы проверки. Сопутствующие ссылки включают буклет контролера OCC 2021 года по управлению модельными рисками и структуру управления рисками NIST AI, выпущенную в январе 2023 года. В отношении кредитных решений требования об уведомлении о неблагоприятных действиях в соответствии с Законом о равных кредитных возможностях по-прежнему применяются, когда модель сложна.
Банк добавляет поставщика LLM, который обобщает жалобы клиентов в свою модельную базу данных, присваивает ей уровень риска и передает ее независимой группе проверки перед использованием в производстве.
Валидаторы создают размеченный набор из нескольких сотен жалоб, чтобы определить, как часто в сводках LLM не учитывается проблема, которая должна быть решена на более высоком уровне по нормативным причинам. Прежде чем утвердить инструмент, они установили приемлемый порог ошибки.
Кредитная модель машинного обучения проходит анализ результатов по сравнению с фактическими дефолтами, а также тестирование честного кредитования. Методы объяснения помогают определить конкретные причины неблагоприятных действий, которые кредиторы должны сообщить заявителям.
Панель мониторинга отслеживает изменения во входных данных и каждую неделю проверяет качество выходных данных LLM. Когда поставщик выпускает новую версию модели, панель мониторинга запускает целевую повторную проверку.
Банки расширяют набор моделей и создают методы оценки для генеративного ИИ. Руководители обсуждали управление ИИ в своих выступлениях и запросах информации, но появятся ли официальные обновления в руководстве по моделированию рисков и что они скажут, остается неясным. Основные принципы SR 11-7 (знать цель модели, тестировать ее независимо, документировать ее ограничения, контролировать ее с течением времени) хорошо применимы к LLM, даже если конкретные методы все еще разрабатываются. Ожидайте максимального внимания к прозрачности поставщиков и постоянному мониторингу.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
SR 11-7 — это надзорное руководство Федеральной резервной системы по модельному управлению рисками от 2011 года, выпущенное совместно с Бюллетенем OCC 2011-12. Он ожидает, что банки будут разрабатывать, проверять, управлять и контролировать модели, на которые они полагаются. Банки теперь применяют его к машинному обучению и большим языковым моделям, что усложняет традиционную проверку, поскольку эти модели часто непрозрачны, поставляются поставщиками и недетерминированы. Это руководство имеет значение, поскольку банк, использующий ИИ для кредитования, мошенничества, соблюдения требований или обслуживания клиентов, должен продемонстрировать надзорным органам, что он понимает и контролирует, почему эти модели могут потерпеть неудачу.
OCC выпустил то же руководство, что и Бюллетень 2011–2012 годов, поэтому эти два документа часто цитируются вместе.
Валидация проверяет, является ли конструкция правильной, продолжает ли модель работать так, как задумано, и насколько ее выходные данные соотносятся с фактическими результатами.
Эффективный вызов означает критический анализ, проводимый способными и независимыми людьми, чьи выводы действительно приводят к изменениям.
Модели поставщиков все еще проходят проверку. Когда внутренние детали недоступны, тестирование поведения и результатов имеет больший вес.
Подсказки, данные поиска, параметры, инструменты и ограничения — все это формирует выходные данные, поэтому их изменение считается изменением модели.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Система управления рисками НИСТ в области искусственного интеллекта
Общество