가이드 연계 퀴즈 · 중간 레벨

탈옥 및 레드팀 퀴즈

탈옥, 장기 컨텍스트 공격, 레드팀 테스트 및 안전 평가에 적대적 프롬프트가 포함되어야 하는 이유를 검토하세요. 실제로.

관련 가이드 경로탈옥과 레드팀
질문 1 의 8

탈옥 프롬프트의 주요 목표는 무엇입니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. 탈옥 프롬프트의 주요 목표는 무엇입니까?
    • 모델이 내장된 안전 규칙을 우회하도록 하려면
    • 모델의 응답 시간을 가속화하려면
    • 텍스트를 다른 언어로 번역하려면
    • 모델 실행 비용을 줄이기 위해
  2. How does NIST define red teaming in the AI context?
    • Training a model to imitate a specific person
    • Structured adversarial testing to find flaws, vulnerabilities or unexpected system behaviors
    • A way to increase context length
    • A method for compressing neural-network weights
  3. 컨텍스트 창이 길어질수록 다중 탈옥이 더 잘 작동하는 이유는 무엇입니까?
    • 프롬프트가 길수록 처리 비용이 저렴해집니다.
    • 컨텍스트가 길어지면 안전 분류자가 자동으로 비활성화됩니다.
    • 모델은 동작을 바꾸는 많은 가짜 호환 예제로 가득 차 있을 수 있습니다.
    • 모델은 100단어를 입력하면 원래 지시 사항을 잊어버립니다.
  4. What does a Constitutional Classifier defense add in the cited study?
    • A larger context window only
    • A database of human names
    • An automatic guarantee that all harmful outputs are impossible
    • Classifiers trained on synthetic examples from natural-language rules to screen harmful inputs or outputs
  5. What did the Many-shot Jailbreaking study demonstrate about safeguards?
    • In its tested settings, long-context demonstrations could elicit behavior that safety training aimed to prevent
    • Every model always complies with every harmful request
    • Safety classifiers eliminate every possible attack
    • The study only measured speech recognition accuracy
  6. What does the RedAgent paper automate in its red-team method?
    • The training of a new foundation model from scratch
    • Generation of context-aware jailbreak prompts using an autonomous language-agent system
    • The legal review of every generated answer
    • The deletion of all model safety policies
  7. What relationship did the Many-shot Jailbreaking study report between demonstration count and attack effectiveness?
    • It dropped to zero after one example
    • It was identical for every context size
    • Effectiveness followed a power law up to hundreds of demonstrations in tested settings
    • It depended only on image resolution
  8. What should a red-team report include to make findings interpretable?
    • Only one successful prompt without context
    • A claim that all models fail identically
    • The model’s hidden training data
    • The tested model and version, prompt conditions, evaluation scope and limitations