NastępnyNastępny poradnik
Ramy zarządzania ryzykiem NIST AI
Społeczeństwo
PRZEWODNIK Społeczny
SR 11-7 to wytyczne nadzorcze Rezerwy Federalnej z 2011 r. dotyczące zarządzania ryzykiem modeli, wydane wspólnie z Biuletynem OCC 2011-12.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Oczekuje, że banki będą opracowywać, weryfikować, zarządzać i monitorować modele, na których polegają. Banki stosują je obecnie do uczenia maszynowego i dużych modeli językowych, co utrudnia tradycyjną walidację, ponieważ modele te są często nieprzejrzyste, dostarczane przez dostawców i niedeterministyczne. Wytyczne mają znaczenie, ponieważ bank wykorzystujący sztuczną inteligencję do celów kredytowych, oszustw, zapewniania zgodności lub obsługi klienta musi pokazać organom nadzoru, że rozumie i kontroluje, w jaki sposób te modele mogą zawieść.
SR 11-7 został wydany w kwietniu 2011 r. przez Rezerwę Federalną wspólnie z OCC, a FDIC przyjął go w 2017 r. Definiuje on szeroko model: metodę, system lub podejście ilościowe, które wykorzystuje teorie statystyczne, ekonomiczne, finansowe lub matematyczne w celu przekształcenia danych wejściowych w szacunki ilościowe. Model składa się z części wejściowej, części przetwarzającej i części raportowej. Ryzyko modelu ma dwa źródła: podstawowe błędy w modelu oraz nieprawidłowe lub niezgodne z przeznaczeniem wykorzystanie solidnego modelu. Wytyczne opierają się na trzech filarach. Pierwszym z nich jest prawidłowy rozwój, wdrożenie i użytkowanie. Drugi to walidacja, która składa się z trzech podstawowych elementów: oceny poprawności koncepcji, bieżącego monitorowania (w tym weryfikacji procesu i analizy porównawczej) oraz analizy wyników, takiej jak weryfikacja historyczna. Trzeci to zarządzanie: nadzór zarządu i wyższej kadry kierowniczej, pisemne zasady, kompletny spis modelu i dokumentacja na tyle szczegółowa, że osoba niezaznajomiona z modelem może zrozumieć, jak on działa. W całym poradniku wzywa się do „skutecznego kwestionowania”, co oznacza krytyczną ocenę dokonywaną przez osoby obiektywne, poinformowane, kompetentne i wystarczająco wpływowe, aby wymusić zmiany. Modele dostawców nie podlegają żadnemu zwolnieniu. Od banków oczekuje się uzyskania odpowiedniej dokumentacji od dostawców. W przypadku nieujawniania informacji zastrzeżonych banki powinny w większym stopniu polegać na analizie wrażliwości, benchmarkingu i testowaniu wyników. Powszechnym błędnym przekonaniem jest to, że SR 11-7 nie obejmuje sztucznej inteligencji, ponieważ jest starsze niż współczesne uczenie maszynowe. Jej definicja jest neutralna technologicznie, a organy nadzoru traktują sztuczną inteligencję jako mieszczącą się w jej zakresie. Banki zazwyczaj albo klasyfikują generatywne narzędzia sztucznej inteligencji jako modele, albo zarządzają nimi w ramach szerszych ram ryzyka związanych ze sztuczną inteligencją, które wykorzystują te same zasady walidacji. Powiązane odniesienia obejmują broszurę OCC Comptroller's Handbook 2021 dotyczącą zarządzania ryzykiem modeli oraz NIST AI Risk Management Framework, wydaną w styczniu 2023 r. W przypadku decyzji kredytowych wymogi dotyczące zawiadomienia o działaniach niepożądanych zgodnie z ustawą o równych szansach kredytowych nadal mają zastosowanie, gdy model jest złożony.
Bank dodaje dostawcę LLM, który podsumowuje skargi klientów do swojego modelu zapasów, przypisuje mu poziom ryzyka i przekazuje go niezależnemu zespołowi weryfikującemu przed użyciem w środowisku produkcyjnym.
Walidatorzy tworzą oznaczony zestaw kilkuset skarg, aby zmierzyć, jak często podsumowania LLM pomijają problem, który należy eskalować ze względów regulacyjnych. Przed zatwierdzeniem narzędzia ustalają akceptowalny próg błędu.
Model kredytowy oparty na uczeniu maszynowym przechodzi analizę wyników w porównaniu z rzeczywistymi opóźnieniami w spłacie, a także uczciwe testy kredytowe. Metody wyjaśniające pomagają określić konkretne powody, dla których pożyczkodawcy muszą podać wnioskodawcom działania niepożądane.
Pulpit monitorujący śledzi zmiany danych wejściowych i co tydzień pobiera próbki jakości wyjściowej LLM. Gdy dostawca wypuści nową wersję modelu, pulpit nawigacyjny uruchamia ukierunkowaną ponowną weryfikację.
Banki poszerzają inwentarze modeli i budują metody ewaluacji dla generatywnej sztucznej inteligencji. Przełożeni omawiali zarządzanie sztuczną inteligencją w przemówieniach i prośbach o informacje, ale nie jest pewne, czy pojawią się formalne aktualizacje wytycznych dotyczących ryzyka modeli i co by powiedziały. Podstawowe zasady zawarte w SR 11-7 (znaj cel modelu, testuj go niezależnie, dokumentuj jego ograniczenia, monitoruj go w czasie) dobrze odnoszą się do LLM, nawet tam, gdzie wciąż opracowywane są konkretne metody. Spodziewaj się największej uwagi poświęconej przejrzystości dostawcy i ciągłemu monitorowaniu.
Darmowy newsletter
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
SR 11-7 to wytyczne nadzorcze Rezerwy Federalnej z 2011 r. dotyczące zarządzania ryzykiem modeli, wydane wspólnie z Biuletynem OCC 2011-12. Oczekuje, że banki będą opracowywać, weryfikować, zarządzać i monitorować modele, na których polegają. Banki stosują je obecnie do uczenia maszynowego i dużych modeli językowych, co utrudnia tradycyjną walidację, ponieważ modele te są często nieprzejrzyste, dostarczane przez dostawców i niedeterministyczne. Wytyczne mają znaczenie, ponieważ bank wykorzystujący sztuczną inteligencję do celów kredytowych, oszustw, zapewniania zgodności lub obsługi klienta musi pokazać organom nadzoru, że rozumie i kontroluje, w jaki sposób te modele mogą zawieść.
OCC wydało te same wytyczne, co Biuletyn 2011-12, dlatego te dwa dokumenty są często cytowane łącznie.
Walidacja obejmuje to, czy projekt jest solidny, czy model działa zgodnie z założeniami i jak jego wyniki mają się do rzeczywistych wyników.
Skuteczne wyzwanie oznacza krytyczną analizę przeprowadzoną przez zdolne, niezależne osoby, których ustalenia faktycznie prowadzą do zmian.
Modele dostawców są nadal sprawdzane. Gdy szczegóły wewnętrzne są niedostępne, testowanie zachowań i wyników ma większą wagę.
Podpowiedzi, pobieranie danych, parametry, narzędzia i poręcze kształtują wynik, więc ich zmiana liczy się jako zmiana modelu.
Ucz się dalej
Wybrano więcej przewodników na ten temat
NastępnyNastępny poradnik
Ramy zarządzania ryzykiem NIST AI
Społeczeństwo