Kvíz spojený s průvodcem · Střední úroveň
Agent Guardrails kvíz
Posuďte výstupní a vstupní filtry, nástroje s nejnižšími oprávněními, red-teaming, monitorování NIST a limity bezpečnostních kontrol.
Otázka 1 z 8
Jaký je hlavní účel agentských mantinelů?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je hlavní účel agentských mantinelů?
- Chcete-li omezit, co může agent dělat, říkat nebo k čemu má mít přístup z důvodu bezpečnosti a souladu
- Aby agenti reagovali pomaleji
- Rozšířit slovní zásobu agenta
- Chcete-li zcela nahradit základní model
- Co obvykle dělá „výstupní zábradlí“?
- Zobrazí pouze příchozí uživatelské výzvy
- Před doručením zkontroluje odpovědi agenta na toxický, falešný nebo nevyhovující obsah
- Urychluje trénink modelky
- Poskytuje agentovi více přístupu k nástrojům
- Jak se „princip nejmenšího privilegia“ vztahuje na akční mantinely?
- Agent má všechna možná povolení
- Agent musí žádat o povolení za nic
- Agent dostane pouze úzce vymezené nástroje, klíče a limity, které potřebuje
- Agent má pro pohodlí administrátorský přístup
- K čemu se v zábradlích používá model „soudce“ nebo validátor?
- Generování hlavních odpovědí agenta
- K ukládání uživatelských hesel
- Pouze k překladu jazyků
- Pro klasifikaci nebo faktickou kontrolu výstupů agenta z hlediska bezpečnosti nebo přesnosti
- Proč je důležité testování mantinelů proti nepříznivým vlivům?
- Protože útočníci zkouší útěk z vězení, musí se zábradlí spíše prozkoumat, než slepě věřit
- Záměrně zpomaluje agenta
- Odstraňuje potřebu jakýchkoli pravidel
- Zaručuje, že model nikdy neudělá chyby
- Který příklad ukazuje účinný akční mantinel?
- Nákupní agent bez omezení útraty
- Nákupní agent s pevným limitem 100 $ na transakci vynuceným mimo model
- Agent, který může spustit jakýkoli příkaz, který chce
- Agent, který ignoruje všechna oprávnění
- What does NIST’s Generative AI Profile say content filters can do?
- Guarantee that all false or harmful content is removed
- Verify that every generated answer is factually correct
- Use rule-based or machine-learning methods to flag problematic inputs and outputs
- Replace all post-deployment monitoring
- What can a NIST post-deployment monitoring plan include for generative AI?
- A guarantee that all outputs will be safe
- A replacement for pre-deployment testing
- An instruction to ignore user-reported issues
- Mechanisms to capture user input and support appeal, override, incident response, and updates