PRZEWODNIK Społeczny

Zarządzanie ryzykiem modeli (SR 11-7) i sztuczna inteligencja

SR 11-7 to wytyczne nadzorcze Rezerwy Federalnej z 2011 r. dotyczące zarządzania ryzykiem modeli, wydane wspólnie z Biuletynem OCC 2011-12.

Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min

Na tej stronie4 minuty czytania
  1. Przegląd
  2. Głębokie nurkowanie
  3. Implementacja w świecie rzeczywistym
  4. Przyszłość zarządzania ryzykiem modeli (SR 11-7) i AI
  5. Wdrażanie tego w praktykę
  6. Odkrywaj dalej
  7. Często zadawane pytania

Przegląd

Oczekuje, że banki będą opracowywać, weryfikować, zarządzać i monitorować modele, na których polegają. Banki stosują je obecnie do uczenia maszynowego i dużych modeli językowych, co utrudnia tradycyjną walidację, ponieważ modele te są często nieprzejrzyste, dostarczane przez dostawców i niedeterministyczne. Wytyczne mają znaczenie, ponieważ bank wykorzystujący sztuczną inteligencję do celów kredytowych, oszustw, zapewniania zgodności lub obsługi klienta musi pokazać organom nadzoru, że rozumie i kontroluje, w jaki sposób te modele mogą zawieść.

Głębokie nurkowanie

SR 11-7 został wydany w kwietniu 2011 r. przez Rezerwę Federalną wspólnie z OCC, a FDIC przyjął go w 2017 r. Definiuje on szeroko model: metodę, system lub podejście ilościowe, które wykorzystuje teorie statystyczne, ekonomiczne, finansowe lub matematyczne w celu przekształcenia danych wejściowych w szacunki ilościowe. Model składa się z części wejściowej, części przetwarzającej i części raportowej. Ryzyko modelu ma dwa źródła: podstawowe błędy w modelu oraz nieprawidłowe lub niezgodne z przeznaczeniem wykorzystanie solidnego modelu. Wytyczne opierają się na trzech filarach. Pierwszym z nich jest prawidłowy rozwój, wdrożenie i użytkowanie. Drugi to walidacja, która składa się z trzech podstawowych elementów: oceny poprawności koncepcji, bieżącego monitorowania (w tym weryfikacji procesu i analizy porównawczej) oraz analizy wyników, takiej jak weryfikacja historyczna. Trzeci to zarządzanie: nadzór zarządu i wyższej kadry kierowniczej, pisemne zasady, kompletny spis modelu i dokumentacja na tyle szczegółowa, że ​​osoba niezaznajomiona z modelem może zrozumieć, jak on działa. W całym poradniku wzywa się do „skutecznego kwestionowania”, co oznacza krytyczną ocenę dokonywaną przez osoby obiektywne, poinformowane, kompetentne i wystarczająco wpływowe, aby wymusić zmiany. Modele dostawców nie podlegają żadnemu zwolnieniu. Od banków oczekuje się uzyskania odpowiedniej dokumentacji od dostawców. W przypadku nieujawniania informacji zastrzeżonych banki powinny w większym stopniu polegać na analizie wrażliwości, benchmarkingu i testowaniu wyników. Powszechnym błędnym przekonaniem jest to, że SR 11-7 nie obejmuje sztucznej inteligencji, ponieważ jest starsze niż współczesne uczenie maszynowe. Jej definicja jest neutralna technologicznie, a organy nadzoru traktują sztuczną inteligencję jako mieszczącą się w jej zakresie. Banki zazwyczaj albo klasyfikują generatywne narzędzia sztucznej inteligencji jako modele, albo zarządzają nimi w ramach szerszych ram ryzyka związanych ze sztuczną inteligencją, które wykorzystują te same zasady walidacji. Powiązane odniesienia obejmują broszurę OCC Comptroller's Handbook 2021 dotyczącą zarządzania ryzykiem modeli oraz NIST AI Risk Management Framework, wydaną w styczniu 2023 r. W przypadku decyzji kredytowych wymogi dotyczące zawiadomienia o działaniach niepożądanych zgodnie z ustawą o równych szansach kredytowych nadal mają zastosowanie, gdy model jest złożony.

Implementacja w świecie rzeczywistym

Bank dodaje dostawcę LLM, który podsumowuje skargi klientów do swojego modelu zapasów, przypisuje mu poziom ryzyka i przekazuje go niezależnemu zespołowi weryfikującemu przed użyciem w środowisku produkcyjnym.

Walidatorzy tworzą oznaczony zestaw kilkuset skarg, aby zmierzyć, jak często podsumowania LLM pomijają problem, który należy eskalować ze względów regulacyjnych. Przed zatwierdzeniem narzędzia ustalają akceptowalny próg błędu.

Model kredytowy oparty na uczeniu maszynowym przechodzi analizę wyników w porównaniu z rzeczywistymi opóźnieniami w spłacie, a także uczciwe testy kredytowe. Metody wyjaśniające pomagają określić konkretne powody, dla których pożyczkodawcy muszą podać wnioskodawcom działania niepożądane.

Pulpit monitorujący śledzi zmiany danych wejściowych i co tydzień pobiera próbki jakości wyjściowej LLM. Gdy dostawca wypuści nową wersję modelu, pulpit nawigacyjny uruchamia ukierunkowaną ponowną weryfikację.

Przyszłość zarządzania ryzykiem modeli (SR 11-7) i AI

Banki poszerzają inwentarze modeli i budują metody ewaluacji dla generatywnej sztucznej inteligencji. Przełożeni omawiali zarządzanie sztuczną inteligencją w przemówieniach i prośbach o informacje, ale nie jest pewne, czy pojawią się formalne aktualizacje wytycznych dotyczących ryzyka modeli i co by powiedziały. Podstawowe zasady zawarte w SR 11-7 (znaj cel modelu, testuj go niezależnie, dokumentuj jego ograniczenia, monitoruj go w czasie) dobrze odnoszą się do LLM, nawet tam, gdzie wciąż opracowywane są konkretne metody. Spodziewaj się największej uwagi poświęconej przejrzystości dostawcy i ciągłemu monitorowaniu.

Wdrażanie tego w praktykę

Dlaczego to ma znaczenie

  • Ryzyko i bezpieczeństwo. Zarówno katastrofalne, jak i codzienne szkody spowodowane sztuczną inteligencją zależą od tego, kto rozumie ryzyko i kto może podjąć działania.
  • Jaśniejsze decyzje. Umiejętność korzystania z usług publicznych i zawodowych wpływa na to, czy silna polityka bezpieczeństwa jest politycznie możliwa.
  • Przebijanie się przez szum. Jasne wyjaśnienia ograniczają wpływ szumu, PR laboratoryjnego i niejasnego teatru etycznego.

Uważaj na

  • Traktowanie ryzyka egzystencjalnego jako science-fiction, choć łączy w sobie możliwości.
  • Mylenie bezpieczeństwa produktów powierzchniowych z wyrównaniem przy dużej autonomii.
  • Pozostawienie odbiorcom nieanglojęzycznym i nieeksperckim jedynie źródeł o niskiej jakości.

Kolejne kroki

  1. Oddziel ryzyko szkód, niewłaściwego użycia i utraty kontroli/niewspółosiowości produktu.
  2. Zapytaj, jakie dowody zmieniłyby Twój pogląd na temat terminów i dotkliwości.
  3. Przedkładaj źródła pierwotne i konkretne oceny nad twierdzenia marketingowe.
  4. Zidentyfikuj jedną ścieżkę działania: karierę, politykę, finansowanie lub umiejętności – nie tylko świadomość.

Odkrywaj dalej

Darmowy newsletter

Otrzymuj codzienne podsumowanie AI

Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.

Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.

Sprawdź się

Take the Model Risk Management (SR 11-7) and AI quiz

Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.

Rozpocznij quiz

Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę

Często zadawane pytania

Czym jest zarządzanie ryzykiem modeli (SR 11-7) i sztuczna inteligencja?

SR 11-7 to wytyczne nadzorcze Rezerwy Federalnej z 2011 r. dotyczące zarządzania ryzykiem modeli, wydane wspólnie z Biuletynem OCC 2011-12. Oczekuje, że banki będą opracowywać, weryfikować, zarządzać i monitorować modele, na których polegają. Banki stosują je obecnie do uczenia maszynowego i dużych modeli językowych, co utrudnia tradycyjną walidację, ponieważ modele te są często nieprzejrzyste, dostarczane przez dostawców i niedeterministyczne. Wytyczne mają znaczenie, ponieważ bank wykorzystujący sztuczną inteligencję do celów kredytowych, oszustw, zapewniania zgodności lub obsługi klienta musi pokazać organom nadzoru, że rozumie i kontroluje, w jaki sposób te modele mogą zawieść.

Który dokument OCC został wydany wraz z SR 11-7 Rezerwy Federalnej w 2011 r.?

OCC wydało te same wytyczne, co Biuletyn 2011-12, dlatego te dwa dokumenty są często cytowane łącznie.

Jakie są trzy podstawowe elementy walidacji zgodnie z SR 11-7?

Walidacja obejmuje to, czy projekt jest solidny, czy model działa zgodnie z założeniami i jak jego wyniki mają się do rzeczywistych wyników.

Czego wymaga SR 11-7, aby przegląd można było uznać za „skuteczne wyzwanie”?

Skuteczne wyzwanie oznacza krytyczną analizę przeprowadzoną przez zdolne, niezależne osoby, których ustalenia faktycznie prowadzą do zmian.

Jak bank powinien postępować z modelem dostawcy, którego dane zastrzeżone są ukrywane?

Modele dostawców są nadal sprawdzane. Gdy szczegóły wewnętrzne są niedostępne, testowanie zachowań i wyników ma większą wagę.

Według przewodnika, który z nich stanowi część granicy modelu aplikacji LLM do zarządzania zmianami?

Podpowiedzi, pobieranie danych, parametry, narzędzia i poręcze kształtują wynik, więc ich zmiana liczy się jako zmiana modelu.