Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Guardrails ügynök kvíz

Assess output and input filters, least-privilege tools, red-teaming, NIST monitoring, and the limits of safety controls.

Kapcsolódó útmutató utakGuardrails ügynök
kérdés 1 -ból 8

Mi az ügynökvédő korlátok fő célja?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi az ügynökvédő korlátok fő célja?
    • Annak korlátozása, hogy egy ügynök mit tehet, mondjuk, vagy férhet hozzá a biztonság és a megfelelőség érdekében
    • Hogy az ügynökök lassabban reagáljanak
    • Az ügynök szókincsének bővítésére
    • Az alapul szolgáló modell teljes cseréje
  2. Mit csinál általában egy „kimeneti védőkorlát”?
    • Csak a bejövő felhasználói kéréseket jeleníti meg
    • Szállítás előtt ellenőrzi az ügynök válaszait mérgező, hamis vagy nem megfelelő tartalom szempontjából
    • Felgyorsítja a modell képzését
    • Több eszköz-hozzáférést biztosít az ügynöknek
  3. Hogyan vonatkozik a „legkisebb kiváltság elve” az akciós védőkorlátokra?
    • Az ügynök minden lehetséges engedélyt megkap
    • Az ügynöknek semmiért kell engedélyt kérnie
    • Az ügynök csak szűk hatókörű eszközöket, kulcsokat és korlátokat kap, amelyekre szüksége van
    • Az ügynök adminisztrátori hozzáférést kap a kényelem érdekében
  4. Mire használható a „bíró” vagy érvényesítő modell a védőkorlátokban?
    • Az ügynök fő válaszainak generálása
    • Felhasználói jelszavak tárolására
    • Csak nyelvek fordításához
    • Az ügynök kimeneteinek minősítése vagy tények ellenőrzése biztonság vagy pontosság szempontjából
  5. Miért fontos a védőkorlátok tesztelése az ellenséges bemenetekkel szemben?
    • Mivel a támadók megpróbálják a jailbreaket, ezért a védőkorlátokat meg kell vizsgálni, nem pedig vakon bízni
    • Szándékosan lassítja az ügynököt
    • Megszünteti a szabályok szükségességét
    • Ez garantálja, hogy a modell soha nem hibázik
  6. Melyik példa mutat be hatékony védőkorlátot?
    • Beszerző ügynök kiadási korlát nélkül
    • Beszerző ügynök a modellen kívül érvényesített, tranzakciónkénti 100 dolláros kemény felső határral
    • Egy ügynök, amely bármilyen parancsot futtathat, amit akar
    • Egy ügynök, amely figyelmen kívül hagy minden engedélyt
  7. What does NIST’s Generative AI Profile say content filters can do?
    • Guarantee that all false or harmful content is removed
    • Verify that every generated answer is factually correct
    • Use rule-based or machine-learning methods to flag problematic inputs and outputs
    • Replace all post-deployment monitoring
  8. What can a NIST post-deployment monitoring plan include for generative AI?
    • A guarantee that all outputs will be safe
    • A replacement for pre-deployment testing
    • An instruction to ignore user-reported issues
    • Mechanisms to capture user input and support appeal, override, incident response, and updates