اختبار مرتبط بالدليل · متوسط المستوى
كسر الحماية ومسابقة الفريق الأحمر
قم بمراجعة عمليات كسر الحماية والهجمات طويلة السياق واختبار الفريق الأحمر ولماذا يجب أن تتضمن تقييمات السلامة مطالبات عدائية. في الممارسة العملية.
سؤال 1 من 8
ما هو الهدف الأساسي من مطالبة الهروب من السجن؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما هو الهدف الأساسي من مطالبة الهروب من السجن؟
- لجعل النموذج يتجاوز قواعد السلامة المضمنة فيه
- لتسريع وقت استجابة النموذج
- لترجمة النص إلى لغة أخرى
- لتقليل تكلفة تشغيل النموذج
- How does NIST define red teaming in the AI context?
- Training a model to imitate a specific person
- Structured adversarial testing to find flaws, vulnerabilities or unexpected system behaviors
- A way to increase context length
- A method for compressing neural-network weights
- لماذا تعمل عمليات الهروب من السجن متعددة اللقطات بشكل أفضل عندما تصبح نوافذ السياق أطول؟
- المطالبات الأطول هي أرخص في المعالجة
- يؤدي السياق الأطول إلى تعطيل مصنف الأمان تلقائيًا
- يمكن إغراق النموذج بالعديد من الأمثلة المتوافقة الزائفة التي تغير سلوكه
- ينسى النموذج تعليماته الأصلية بعد 100 كلمة
- What does a Constitutional Classifier defense add in the cited study?
- A larger context window only
- A database of human names
- An automatic guarantee that all harmful outputs are impossible
- Classifiers trained on synthetic examples from natural-language rules to screen harmful inputs or outputs
- What did the Many-shot Jailbreaking study demonstrate about safeguards?
- In its tested settings, long-context demonstrations could elicit behavior that safety training aimed to prevent
- Every model always complies with every harmful request
- Safety classifiers eliminate every possible attack
- The study only measured speech recognition accuracy
- What does the RedAgent paper automate in its red-team method?
- The training of a new foundation model from scratch
- Generation of context-aware jailbreak prompts using an autonomous language-agent system
- The legal review of every generated answer
- The deletion of all model safety policies
- What relationship did the Many-shot Jailbreaking study report between demonstration count and attack effectiveness?
- It dropped to zero after one example
- It was identical for every context size
- Effectiveness followed a power law up to hundreds of demonstrations in tested settings
- It depended only on image resolution
- What should a red-team report include to make findings interpretable?
- Only one successful prompt without context
- A claim that all models fail identically
- The model’s hidden training data
- The tested model and version, prompt conditions, evaluation scope and limitations