জেলব্রেকিং এবং রেড-টিমিং কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. একটি জেলব্রেক প্রম্পটের প্রাথমিক লক্ষ্য কি?
   • মডেল পেতে তার অন্তর্নির্মিত নিরাপত্তা নিয়ম বাইপাস
   • মডেলের প্রতিক্রিয়া সময় গতি বাড়াতে
   • অন্য ভাষায় টেক্সট অনুবাদ করতে
   • মডেল চালানোর খরচ কমাতে
2. How does NIST define red teaming in the AI context?
   • Training a model to imitate a specific person
   • Structured adversarial testing to find flaws, vulnerabilities or unexpected system behaviors
   • A way to increase context length
   • A method for compressing neural-network weights
3. কনটেক্সট উইন্ডো দীর্ঘ হওয়ার সাথে সাথে কেন বহু-শট জেলব্রেকগুলি আরও ভাল কাজ করে?
   • দীর্ঘ প্রম্পট প্রক্রিয়া করা সস্তা
   • দীর্ঘ প্রসঙ্গ স্বয়ংক্রিয়ভাবে নিরাপত্তা শ্রেণীবদ্ধকারীকে অক্ষম করে
   • মডেলটি অনেক নকল অনুগত উদাহরণ দিয়ে প্লাবিত হতে পারে যা এর আচরণ পরিবর্তন করে
   • মডেলটি 100 শব্দের পরে তার আসল নির্দেশাবলী ভুলে যায়
4. What does a Constitutional Classifier defense add in the cited study?
   • A larger context window only
   • A database of human names
   • An automatic guarantee that all harmful outputs are impossible
   • Classifiers trained on synthetic examples from natural-language rules to screen harmful inputs or outputs
5. What did the Many-shot Jailbreaking study demonstrate about safeguards?
   • In its tested settings, long-context demonstrations could elicit behavior that safety training aimed to prevent
   • Every model always complies with every harmful request
   • Safety classifiers eliminate every possible attack
   • The study only measured speech recognition accuracy
6. What does the RedAgent paper automate in its red-team method?
   • The training of a new foundation model from scratch
   • Generation of context-aware jailbreak prompts using an autonomous language-agent system
   • The legal review of every generated answer
   • The deletion of all model safety policies
7. What relationship did the Many-shot Jailbreaking study report between demonstration count and attack effectiveness?
   • It dropped to zero after one example
   • It was identical for every context size
   • Effectiveness followed a power law up to hundreds of demonstrations in tested settings
   • It depended only on image resolution
8. What should a red-team report include to make findings interpretable?
   • Only one successful prompt without context
   • A claim that all models fail identically
   • The model’s hidden training data
   • The tested model and version, prompt conditions, evaluation scope and limitations