گائیڈ سے منسلک کوئز · درمیانہ سطح

ایجنٹ گارڈریلز کوئز

آؤٹ پٹ اور ان پٹ فلٹرز، کم از کم استحقاق والے ٹولز، ریڈ ٹیمنگ، NIST مانیٹرنگ، اور حفاظتی کنٹرول کی حدود کا اندازہ لگائیں۔

متعلقہ گائیڈ کے راستےایجنٹ گارڈریلز
سوال 1 کی 8

ایجنٹ گارڈریلز کا بنیادی مقصد کیا ہے؟

ہر سوال کا جائزہ لیں۔8 سوالات

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

  1. ایجنٹ گارڈریلز کا بنیادی مقصد کیا ہے؟
    • حفاظت اور تعمیل کے لیے ایجنٹ کیا کر سکتا ہے، کیا کہہ سکتا ہے یا اس تک رسائی کو روک سکتا ہے۔
    • تاکہ ایجنٹ زیادہ آہستہ جواب دیں۔
    • ایجنٹ کے ذخیرہ الفاظ کو بڑھانے کے لیے
    • بنیادی ماڈل کو مکمل طور پر تبدیل کرنے کے لیے
  2. 'آؤٹ پٹ گارڈریل' عام طور پر کیا کرتا ہے؟
    • صرف آنے والے صارف کے اشارے کی سکرین
    • ڈیلیوری سے پہلے زہریلے، غلط، یا غیر موافق مواد کے لیے ایجنٹ کے جوابات کو چیک کرتا ہے۔
    • ماڈل کی تربیت کو تیز کرتا ہے۔
    • ایجنٹ کو مزید ٹول تک رسائی فراہم کرتا ہے۔
  3. 'کم سے کم استحقاق کا اصول' ایکشن گارڈریلز پر کیسے لاگو ہوتا ہے؟
    • ایجنٹ کو ہر ممکن اجازت دی جاتی ہے۔
    • ایجنٹ کو کسی بھی چیز کے لیے اجازت طلب نہیں کرنی چاہیے۔
    • ایجنٹ کو صرف محدود دائرہ کار والے ٹولز، چابیاں اور اس کی ضرورت کی حدیں ملتی ہیں۔
    • ایجنٹ کو سہولت کے لیے ایڈمن تک رسائی دی جاتی ہے۔
  4. گارڈریلز میں 'جج' یا توثیق کرنے والا ماڈل کیا ہے؟
    • ایجنٹ کے اہم جوابات تیار کرنے کے لیے
    • صارف کے پاس ورڈز کو ذخیرہ کرنے کے لیے
    • صرف زبانوں کا ترجمہ کرنے کے لیے
    • حفاظت یا درستگی کے لیے ایجنٹ کے آؤٹ پٹس کو گریڈ یا حقیقت کی جانچ کرنے کے لیے
  5. مخالفانہ آدانوں کے خلاف جانچ پڑتال کیوں ضروری ہے؟
    • کیونکہ حملہ آور جیل توڑنے کی کوشش کرتے ہیں، اس لیے اندھا دھند بھروسہ کرنے کے بجائے محافظوں کی جانچ ہونی چاہیے۔
    • یہ ایجنٹ کو مقصد سے سست بناتا ہے۔
    • یہ کسی بھی قواعد کی ضرورت کو دور کرتا ہے۔
    • یہ گارنٹی دیتا ہے کہ ماڈل کبھی غلطی نہیں کرتا
  6. کون سی مثال ایک موثر ایکشن گارڈریل کو ظاہر کرتی ہے؟
    • ایک پرچیزنگ ایجنٹ جس کے اخراجات کی کوئی حد نہیں ہے۔
    • ایک پرچیزنگ ایجنٹ جس کا سخت $100 فی ٹرانزیکشن کیپ ماڈل کے باہر نافذ ہے۔
    • ایک ایجنٹ جو چاہے کوئی بھی کمانڈ چلا سکتا ہے۔
    • ایک ایجنٹ جو تمام اجازتوں کو نظر انداز کرتا ہے۔
  7. What does NIST’s Generative AI Profile say content filters can do?
    • Guarantee that all false or harmful content is removed
    • Verify that every generated answer is factually correct
    • Use rule-based or machine-learning methods to flag problematic inputs and outputs
    • Replace all post-deployment monitoring
  8. What can a NIST post-deployment monitoring plan include for generative AI?
    • A guarantee that all outputs will be safe
    • A replacement for pre-deployment testing
    • An instruction to ignore user-reported issues
    • Mechanisms to capture user input and support appeal, override, incident response, and updates