Викторина «Ограждения агента»

Ответы и пояснения появляются по мере прохождения теста.

1. Какова основная цель агентских ограждений?
   • Ограничить то, что агент может делать, например, или получать доступ в целях безопасности и соблюдения требований.
   • Чтобы агенты отвечали медленнее
   • Увеличить словарный запас агента
   • Чтобы полностью заменить базовую модель
2. Что обычно делает «выходное ограждение»?
   • Отображает только входящие запросы пользователя
   • Перед доставкой проверяет ответы агента на наличие токсичного, ложного или несоответствующего контента.
   • Ускоряет обучение модели
   • Предоставляет агенту больше доступа к инструментам
3. Как «принцип наименьших привилегий» применяется к ограждениям действий?
   • Агенту предоставляются все возможные разрешения
   • Агент ни за что не должен спрашивать разрешения
   • Агент получает только необходимые ему инструменты, ключи и ограничения узкого спектра действия.
   • Для удобства агенту предоставлен доступ администратора.
4. Для чего используется модель «судья» или валидатора в ограждениях?
   • Формировать основные ответы агента
   • Для хранения паролей пользователей
   • Только переводить языки
   • Для оценки или проверки результатов работы агента на предмет безопасности и точности.
5. Почему важно тестировать защитные ограждения от враждебных воздействий?
   • Поскольку злоумышленники пытаются взломать джейлбрейк, необходимо проверять защитные ограждения, а не слепо доверять им.
   • Это намеренно замедляет работу агента.
   • Это устраняет необходимость в каких-либо правилах
   • Это гарантирует, что модель никогда не допустит ошибок.
6. Какой пример демонстрирует эффективное ограждение действий?
   • Агент по закупкам без лимита расходов
   • Агент по закупкам с жестким ограничением в 100 долларов за транзакцию, установленным вне модели.
   • Агент, который может выполнять любую команду, какую захочет.
   • Агент, игнорирующий все разрешения
7. What does NIST’s Generative AI Profile say content filters can do?
   • Guarantee that all false or harmful content is removed
   • Verify that every generated answer is factually correct
   • Use rule-based or machine-learning methods to flag problematic inputs and outputs
   • Replace all post-deployment monitoring
8. What can a NIST post-deployment monitoring plan include for generative AI?
   • A guarantee that all outputs will be safe
   • A replacement for pre-deployment testing
   • An instruction to ignore user-reported issues
   • Mechanisms to capture user input and support appeal, override, incident response, and updates