Bài kiểm tra bẻ khóa và chia nhóm đỏ

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Mục tiêu chính của lời nhắc bẻ khóa là gì?
   • Để mô hình bỏ qua các quy tắc an toàn tích hợp của nó
   • Để tăng tốc thời gian phản hồi của mô hình
   • Để dịch văn bản sang ngôn ngữ khác
   • Để giảm chi phí vận hành mô hình
2. How does NIST define red teaming in the AI context?
   • Training a model to imitate a specific person
   • Structured adversarial testing to find flaws, vulnerabilities or unexpected system behaviors
   • A way to increase context length
   • A method for compressing neural-network weights
3. Tại sao việc bẻ khóa nhiều lần hoạt động tốt hơn khi cửa sổ ngữ cảnh dài hơn?
   • Lời nhắc dài hơn sẽ rẻ hơn để xử lý
   • Ngữ cảnh dài hơn sẽ tự động vô hiệu hóa trình phân loại an toàn
   • Mô hình có thể tràn ngập nhiều ví dụ tuân thủ giả mạo làm thay đổi hành vi của nó
   • Mô hình quên hướng dẫn ban đầu sau 100 từ
4. What does a Constitutional Classifier defense add in the cited study?
   • A larger context window only
   • A database of human names
   • An automatic guarantee that all harmful outputs are impossible
   • Classifiers trained on synthetic examples from natural-language rules to screen harmful inputs or outputs
5. What did the Many-shot Jailbreaking study demonstrate about safeguards?
   • In its tested settings, long-context demonstrations could elicit behavior that safety training aimed to prevent
   • Every model always complies with every harmful request
   • Safety classifiers eliminate every possible attack
   • The study only measured speech recognition accuracy
6. What does the RedAgent paper automate in its red-team method?
   • The training of a new foundation model from scratch
   • Generation of context-aware jailbreak prompts using an autonomous language-agent system
   • The legal review of every generated answer
   • The deletion of all model safety policies
7. What relationship did the Many-shot Jailbreaking study report between demonstration count and attack effectiveness?
   • It dropped to zero after one example
   • It was identical for every context size
   • Effectiveness followed a power law up to hundreds of demonstrations in tested settings
   • It depended only on image resolution
8. What should a red-team report include to make findings interpretable?
   • Only one successful prompt without context
   • A claim that all models fail identically
   • The model’s hidden training data
   • The tested model and version, prompt conditions, evaluation scope and limitations