Kuis Pagar Pembatas Agen

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa tujuan utama dari pagar pembatas agen?
   • Untuk membatasi apa yang dapat dilakukan, dikatakan, atau diakses oleh agen demi keselamatan dan kepatuhan
   • Untuk membuat agen merespons lebih lambat
   • Untuk menambah kosakata agen
   • Untuk menggantikan model yang mendasarinya sepenuhnya
2. Apa yang biasanya dilakukan oleh 'pagar pembatas keluaran'?
   • Hanya menyaring permintaan pengguna yang masuk
   • Memeriksa respons agen terhadap konten beracun, palsu, atau tidak patuh sebelum pengiriman
   • Mempercepat pelatihan model
   • Memberi agen lebih banyak akses alat
3. Bagaimana 'prinsip hak istimewa paling rendah' diterapkan pada pagar pembatas tindakan?
   • Agen diberikan segala izin yang memungkinkan
   • Agen tidak perlu meminta izin apa pun
   • Agen hanya mendapatkan alat, kunci, dan batasan terbatas yang dibutuhkannya
   • Agen diberikan akses admin untuk kenyamanan
4. Untuk apa model 'hakim' atau validator digunakan di pagar pembatas?
   • Untuk menghasilkan jawaban utama agen
   • Untuk menyimpan kata sandi pengguna
   • Untuk menerjemahkan bahasa saja
   • Untuk menilai atau memeriksa fakta keluaran agen untuk keamanan atau keakuratan
5. Mengapa menguji pagar pembatas terhadap masukan yang bersifat permusuhan itu penting?
   • Karena penyerang mencoba melakukan jailbreak, maka pagar pembatas harus diperiksa, bukan dipercaya begitu saja
   • Itu sengaja membuat agen lebih lambat
   • Ini menghilangkan kebutuhan akan aturan apa pun
   • Ini menjamin model tidak pernah melakukan kesalahan
6. Contoh manakah yang menunjukkan tindakan pagar pembatas yang efektif?
   • Agen pembelian tanpa batasan pengeluaran
   • Agen pembelian dengan batasan $100 per transaksi yang diterapkan di luar model
   • Agen yang dapat menjalankan perintah apa pun yang diinginkannya
   • Agen yang mengabaikan semua izin
7. What does NIST’s Generative AI Profile say content filters can do?
   • Guarantee that all false or harmful content is removed
   • Verify that every generated answer is factually correct
   • Use rule-based or machine-learning methods to flag problematic inputs and outputs
   • Replace all post-deployment monitoring
8. What can a NIST post-deployment monitoring plan include for generative AI?
   • A guarantee that all outputs will be safe
   • A replacement for pre-deployment testing
   • An instruction to ignore user-reported issues
   • Mechanisms to capture user input and support appeal, override, incident response, and updates