Kvíz spojený s průvodcem · Střední úroveň

Agent Guardrails kvíz

Posuďte výstupní a vstupní filtry, nástroje s nejnižšími oprávněními, red-teaming, monitorování NIST a limity bezpečnostních kontrol.

Související vodicí cestyBezpečnostní mantinely agenta
Otázka 1 z 8

Jaký je hlavní účel agentských mantinelů?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je hlavní účel agentských mantinelů?
    • Chcete-li omezit, co může agent dělat, říkat nebo k čemu má mít přístup z důvodu bezpečnosti a souladu
    • Aby agenti reagovali pomaleji
    • Rozšířit slovní zásobu agenta
    • Chcete-li zcela nahradit základní model
  2. Co obvykle dělá „výstupní zábradlí“?
    • Zobrazí pouze příchozí uživatelské výzvy
    • Před doručením zkontroluje odpovědi agenta na toxický, falešný nebo nevyhovující obsah
    • Urychluje trénink modelky
    • Poskytuje agentovi více přístupu k nástrojům
  3. Jak se „princip nejmenšího privilegia“ vztahuje na akční mantinely?
    • Agent má všechna možná povolení
    • Agent musí žádat o povolení za nic
    • Agent dostane pouze úzce vymezené nástroje, klíče a limity, které potřebuje
    • Agent má pro pohodlí administrátorský přístup
  4. K čemu se v zábradlích používá model „soudce“ nebo validátor?
    • Generování hlavních odpovědí agenta
    • K ukládání uživatelských hesel
    • Pouze k překladu jazyků
    • Pro klasifikaci nebo faktickou kontrolu výstupů agenta z hlediska bezpečnosti nebo přesnosti
  5. Proč je důležité testování mantinelů proti nepříznivým vlivům?
    • Protože útočníci zkouší útěk z vězení, musí se zábradlí spíše prozkoumat, než slepě věřit
    • Záměrně zpomaluje agenta
    • Odstraňuje potřebu jakýchkoli pravidel
    • Zaručuje, že model nikdy neudělá chyby
  6. Který příklad ukazuje účinný akční mantinel?
    • Nákupní agent bez omezení útraty
    • Nákupní agent s pevným limitem 100 $ na transakci vynuceným mimo model
    • Agent, který může spustit jakýkoli příkaz, který chce
    • Agent, který ignoruje všechna oprávnění
  7. What does NIST’s Generative AI Profile say content filters can do?
    • Guarantee that all false or harmful content is removed
    • Verify that every generated answer is factually correct
    • Use rule-based or machine-learning methods to flag problematic inputs and outputs
    • Replace all post-deployment monitoring
  8. What can a NIST post-deployment monitoring plan include for generative AI?
    • A guarantee that all outputs will be safe
    • A replacement for pre-deployment testing
    • An instruction to ignore user-reported issues
    • Mechanisms to capture user input and support appeal, override, incident response, and updates