Вікторина, пов’язана з посібником · Середній Рівень

Вікторина про огородження агента

Оцініть вихідні та вхідні фільтри, інструменти найменших привілеїв, red-teaming, моніторинг NIST та обмеження засобів контролю безпеки.

Пов'язані напрямні шляхиОгородження агента
Питання 1 з 8

Яке основне призначення агентських огорож?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яке основне призначення агентських огорож?
    • Щоб обмежити те, що агент може робити, говорити або мати доступ для безпеки та відповідності
    • Щоб агенти реагували повільніше
    • Збільшити словниковий запас агента
    • Щоб повністю замінити базову модель
  2. Що зазвичай робить «вихідна огорожа»?
    • Відображає лише вхідні підказки користувача
    • Перед доставкою перевіряє відповіді агента на наявність токсичного, неправдивого чи невідповідного вмісту
    • Прискорює навчання моделі
    • Надає агенту більше доступу до інструментів
  3. Як «принцип найменших привілеїв» застосовується до захисних огорож?
    • Агенту надано всі можливі дозволи
    • Агент повинен питати дозвіл ні за що
    • Агент отримує лише вузькі інструменти, ключі та обмеження, які йому потрібні
    • Для зручності агенту надано права адміністратора
  4. Для чого використовується модель «судді» або валідатора в поручнях?
    • Для генерації основних відповідей агента
    • Для зберігання паролів користувачів
    • Тільки для перекладу мовами
    • Щоб оцінити або перевірити результати агента на безпеку чи точність
  5. Чому важливе тестування захисних огорож проти сторонніх втручань?
    • Оскільки зловмисники намагаються здійснити втечу з в’язниці, тож огорожі потрібно досліджувати, а не сліпо довіряти
    • Це навмисно робить агента повільнішим
    • Це позбавляє від необхідності будь-яких правил
    • Це гарантує, що модель ніколи не помилиться
  6. Який приклад показує ефективну дію огорожі?
    • Агент із закупівель без ліміту витрат
    • Агент із закупівель із жорстким обмеженням у 100 доларів США за транзакцію, який діє поза моделлю
    • Агент, який може виконувати будь-яку команду
    • Агент, який ігнорує всі дозволи
  7. What does NIST’s Generative AI Profile say content filters can do?
    • Guarantee that all false or harmful content is removed
    • Verify that every generated answer is factually correct
    • Use rule-based or machine-learning methods to flag problematic inputs and outputs
    • Replace all post-deployment monitoring
  8. What can a NIST post-deployment monitoring plan include for generative AI?
    • A guarantee that all outputs will be safe
    • A replacement for pre-deployment testing
    • An instruction to ignore user-reported issues
    • Mechanisms to capture user input and support appeal, override, incident response, and updates