РУКОВОДСТВО ПО ОБЩЕСТВУ

Модель управления рисками (SR 11-7) и ИИ

SR 11-7 — это надзорное руководство Федеральной резервной системы по модельному управлению рисками от 2011 года, выпущенное совместно с Бюллетенем OCC 2011-12.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее модельного управления рисками (SR 11-7) и искусственного интеллекта
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Он ожидает, что банки будут разрабатывать, проверять, управлять и контролировать модели, на которые они полагаются. Банки теперь применяют его к машинному обучению и большим языковым моделям, что усложняет традиционную проверку, поскольку эти модели часто непрозрачны, поставляются поставщиками и недетерминированы. Это руководство имеет значение, поскольку банк, использующий ИИ для кредитования, мошенничества, соблюдения требований или обслуживания клиентов, должен продемонстрировать надзорным органам, что он понимает и контролирует, почему эти модели могут потерпеть неудачу.

Глубокое погружение

SR 11-7 был выпущен в апреле 2011 года Федеральной резервной системой совместно с OCC, а FDIC принял его в 2017 году. Он определяет модель в широком смысле: количественный метод, систему или подход, который применяет статистические, экономические, финансовые или математические теории для преобразования входных данных в количественные оценки. Модель имеет входную часть, часть обработки и часть отчетности. Модельный риск возникает из двух источников: фундаментальные ошибки в модели и неправильное использование надежной модели или не по ее прямому назначению. Руководство опирается на три столпа. Во-первых, это разумная разработка, внедрение и использование. Второй — это валидация, которая состоит из трех основных элементов: оценка концептуальной обоснованности, постоянный мониторинг (включая проверку процесса и сравнительный анализ) и анализ результатов, например, бэк-тестирование. Третий — управление: надзор со стороны совета директоров и высшего руководства, письменные политики, полный перечень моделей и достаточно подробная документация, чтобы человек, незнакомый с моделью, мог понять, как она работает. На протяжении всего руководства содержится призыв к «эффективному вызову», то есть к критическому анализу со стороны людей, которые объективны, информированы, компетентны и достаточно влиятельны, чтобы вызвать изменения. Модели поставщиков не подлежат освобождению. Ожидается, что банки получат соответствующую документацию от поставщиков. Там, где конфиденциальная информация не раскрывается, банкам следует больше полагаться на анализ чувствительности, сравнительный анализ и тестирование результатов. Распространенным заблуждением является то, что SR 11-7 не достигает ИИ, потому что он появился раньше современного машинного обучения. Его определение является нейтральным с точки зрения технологий, и надзорные органы рассматривают ИИ как область применения. Банки обычно либо классифицируют инструменты генеративного ИИ как модели, либо управляют ими в рамках более широкой системы рисков ИИ, в которой используются те же принципы проверки. Сопутствующие ссылки включают буклет контролера OCC 2021 года по управлению модельными рисками и структуру управления рисками NIST AI, выпущенную в январе 2023 года. В отношении кредитных решений требования об уведомлении о неблагоприятных действиях в соответствии с Законом о равных кредитных возможностях по-прежнему применяются, когда модель сложна.

Реальная реализация

Банк добавляет поставщика LLM, который обобщает жалобы клиентов в свою модельную базу данных, присваивает ей уровень риска и передает ее независимой группе проверки перед использованием в производстве.

Валидаторы создают размеченный набор из нескольких сотен жалоб, чтобы определить, как часто в сводках LLM не учитывается проблема, которая должна быть решена на более высоком уровне по нормативным причинам. Прежде чем утвердить инструмент, они установили приемлемый порог ошибки.

Кредитная модель машинного обучения проходит анализ результатов по сравнению с фактическими дефолтами, а также тестирование честного кредитования. Методы объяснения помогают определить конкретные причины неблагоприятных действий, которые кредиторы должны сообщить заявителям.

Панель мониторинга отслеживает изменения во входных данных и каждую неделю проверяет качество выходных данных LLM. Когда поставщик выпускает новую версию модели, панель мониторинга запускает целевую повторную проверку.

Будущее модельного управления рисками (SR 11-7) и искусственного интеллекта

Банки расширяют набор моделей и создают методы оценки для генеративного ИИ. Руководители обсуждали управление ИИ в своих выступлениях и запросах информации, но появятся ли официальные обновления в руководстве по моделированию рисков и что они скажут, остается неясным. Основные принципы SR 11-7 (знать цель модели, тестировать ее независимо, документировать ее ограничения, контролировать ее с течением времени) хорошо применимы к LLM, даже если конкретные методы все еще разрабатываются. Ожидайте максимального внимания к прозрачности поставщиков и постоянному мониторингу.

Применение на практике

Почему это важно

  • Риски и безопасность. Катастрофический и повседневный вред ИИ зависит от того, кто понимает риски и может действовать.
  • Более четкие решения. Общественная и профессиональная грамотность определяет, возможна ли с политической точки зрения сильная политика безопасности.
  • Пробивая шумиху. Четкие объяснения уменьшают влияние шумихи, лабораторного пиара и расплывчатого этического театра.

Следите за

  • Относитесь к экзистенциальному риску как к научной фантастике, в то время как возможности растут.
  • Сбивает с толку безопасность поверхности продукта и выравнивание при высокой автономности.
  • Оставляя неанглоязычную и неспециалистскую аудиторию только с некачественными источниками.

Следующие шаги

  1. Отдельные риски повреждения продукта, неправильного использования и потери контроля/перекоса.
  2. Спросите, какие доказательства могут изменить ваше мнение о сроках и серьезности.
  3. Предпочитайте первоисточники и конкретные оценки маркетинговым заявлениям.
  4. Определите один путь действий: карьера, политика, финансирование или навыки, а не только осведомленность.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Model Risk Management (SR 11-7) and AI quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое модель управления рисками (SR 11-7) и ИИ?

SR 11-7 — это надзорное руководство Федеральной резервной системы по модельному управлению рисками от 2011 года, выпущенное совместно с Бюллетенем OCC 2011-12. Он ожидает, что банки будут разрабатывать, проверять, управлять и контролировать модели, на которые они полагаются. Банки теперь применяют его к машинному обучению и большим языковым моделям, что усложняет традиционную проверку, поскольку эти модели часто непрозрачны, поставляются поставщиками и недетерминированы. Это руководство имеет значение, поскольку банк, использующий ИИ для кредитования, мошенничества, соблюдения требований или обслуживания клиентов, должен продемонстрировать надзорным органам, что он понимает и контролирует, почему эти модели могут потерпеть неудачу.

Какой документ OCC был выпущен вместе с SR 11-7 Федеральной резервной системы в 2011 году?

OCC выпустил то же руководство, что и Бюллетень 2011–2012 годов, поэтому эти два документа часто цитируются вместе.

Каковы три основных элемента валидации согласно SR 11-7?

Валидация проверяет, является ли конструкция правильной, продолжает ли модель работать так, как задумано, и насколько ее выходные данные соотносятся с фактическими результатами.

Что требует SR 11-7 для того, чтобы рассмотрение считалось «эффективным вызовом»?

Эффективный вызов означает критический анализ, проводимый способными и независимыми людьми, чьи выводы действительно приводят к изменениям.

Как банку следует обращаться с моделью поставщика, чьи личные данные не разглашаются?

Модели поставщиков все еще проходят проверку. Когда внутренние детали недоступны, тестирование поведения и результатов имеет больший вес.

Согласно руководству, что из этого является частью границ модели приложения LLM для управления изменениями?

Подсказки, данные поиска, параметры, инструменты и ограничения — все это формирует выходные данные, поэтому их изменение считается изменением модели.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →