Quiz dotyczący poręczy agenta

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki jest główny cel barier ochronnych dla agentów?
   • Aby ograniczyć to, co agent może zrobić, powiedzieć lub uzyskać dostęp ze względu na bezpieczeństwo i zgodność
   • Aby agenci reagowali wolniej
   • Aby zwiększyć słownictwo agenta
   • Aby całkowicie zastąpić podstawowy model
2. Do czego zazwyczaj służy „poręcz wyjściowa”?
   • Wyświetla tylko przychodzące monity użytkownika
   • Przed dostawą sprawdza odpowiedzi agenta pod kątem toksycznych, fałszywych lub niezgodnych treści
   • Przyspiesza trening modelu
   • Przyznaje agentowi większy dostęp do narzędzi
3. W jaki sposób „zasada najmniejszych przywilejów” ma zastosowanie do poręczy akcji?
   • Agent otrzymuje wszelkie możliwe pozwolenia
   • Agent nie musi pytać o pozwolenie za nic
   • Agent otrzymuje tylko narzędzia, klucze i ograniczenia o wąskim zakresie, których potrzebuje
   • Dla wygody agent otrzymuje dostęp administracyjny
4. Do czego służy model „sędziego” lub walidatora w poręczach?
   • Aby wygenerować główne odpowiedzi agenta
   • Do przechowywania haseł użytkowników
   • Tylko do tłumaczenia języków
   • Aby ocenić lub sprawdzić wyniki agenta pod kątem bezpieczeństwa i dokładności
5. Dlaczego testowanie poręczy pod kątem danych wejściowych przeciwnika jest ważne?
   • Ponieważ napastnicy próbują jailbreakować, dlatego należy badać poręcze, a nie ślepo ufać
   • Celowo spowalnia agenta
   • Eliminuje to potrzebę stosowania jakichkolwiek zasad
   • Gwarantuje, że modelka nigdy się nie pomyli
6. Który przykład pokazuje skuteczną poręcz akcji?
   • Agent zakupowy bez limitu wydatków
   • Agent ds. zakupów z twardym limitem 100 USD na transakcję egzekwowanym poza modelem
   • Agent, który może uruchomić dowolne polecenie
   • Agent ignorujący wszystkie uprawnienia
7. What does NIST’s Generative AI Profile say content filters can do?
   • Guarantee that all false or harmful content is removed
   • Verify that every generated answer is factually correct
   • Use rule-based or machine-learning methods to flag problematic inputs and outputs
   • Replace all post-deployment monitoring
8. What can a NIST post-deployment monitoring plan include for generative AI?
   • A guarantee that all outputs will be safe
   • A replacement for pre-deployment testing
   • An instruction to ignore user-reported issues
   • Mechanisms to capture user input and support appeal, override, incident response, and updates