DalšíDalší průvodce
Jak pracují agenti hlubokého výzkumu
Aplikace
PRŮVODCE aplikacemi
Bezpečnostní mantinely agenta jsou kontrolní mechanismy pro vstupy, výstupy a akce.
Poslechněte si tento návodAI-vyprávěný · ~1 min
Snižují identifikovaná rizika, ale nemohou zaručit, že systém je bezpečný v každé situaci.
Bezpečnostní mantinel může být deterministické pravidlo, hranice oprávnění, klasifikátor nebo kontrolní bod s lidskou účastí. NIST AI RMF organizuje činnosti řízení rizik v oblastech správy, mapování, měření a řízení. Taxonomie adversariálního strojového učení podle NIST popisuje kategorie útoků a jejich zmírňování. Další model soudce se může mýlit, proto by neměl být jedinou bezpečnostní hranicí pro citlivou akci. Mantinely snižují konkrétní rizika, ale nemohou zajistit univerzální bezpečnost. Princip nejnižších privilegií omezuje dostupné nástroje a oprávnění. NIST AI 600-1 popisuje obsahové filtry, které mohou využívat pravidla nebo další modely strojového učení k označování problematických vstupů a výstupů, a doporučuje monitorování po nasazení, které zachycuje zpětnou vazbu a podporuje odvolání, přepsání, reakci na incidenty a správu změn.
Před spuštěním ověřte argumenty nástroje oproti seznamu povolených položek.
Omezte agenta na přístup pouze pro čtení tam, kde zápis není nutný.
Před zobrazením zkontrolujte vygenerovaný výstup podle definovaných zásad.
Testujte kontrolní mechanismy pomocí chybně formátovaných a adversariálních vstupů.
Mantinely vyžadují testování a monitorování v závislosti na změnách modelů, nástrojů a hrozeb. Uveďte model hrozeb a zbytkové riziko namísto tvrzení o úplné ochraně.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Bezpečnostní mantinely agenta jsou kontrolní mechanismy pro vstupy, výstupy a akce. Snižují identifikovaná rizika, ale nemohou zaručit, že systém je bezpečný v každé situaci.
Mantinely mohou omezovat konkrétní vstupy, výstupy, volání nástrojů nebo limity zdrojů, a tím snižovat některá rizika. Žádná sada mantinelů nezaručuje, že agent nemůže způsobit škodu.
Výstupní ochranné zábradlí kontroluje generované odpovědi agenta a blokuje nebezpečný nebo nevyhovující obsah, než se dostane k uživateli.
Princip nejnižších privilegií omezuje nástroje, přihlašovací údaje a oprávnění dostupné agentovi, což může omezit akce dosažitelné po chybě nebo kompromitaci. Nezaručuje, že nemůže dojít k žádné škodě.
Samostatný model posuzovatele může před vydáním hodnotit výstupy primárního agenta z hlediska bezpečnosti, dodržování zásad nebo faktické přesnosti.
Testování protivníků (red-teaming) odhaluje, jak mantinely obstojí proti pokusům o útěk z vězení a vstřikování, místo aby se předpokládalo, že se model chová.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Jak pracují agenti hlubokého výzkumu
Aplikace