Kvíz spojený s průvodcem · Střední úroveň
Jailbreaking a Red-Teaming kvíz
Projděte si útěky z vězení, útoky s dlouhým kontextem, testování červeného týmu a proč musí bezpečnostní hodnocení zahrnovat výzvy protivníka. v praxi.
Otázka 1 z 8
Jaký je primární cíl výzvy k útěku z vězení?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je primární cíl výzvy k útěku z vězení?
- Aby model obešel svá vestavěná bezpečnostní pravidla
- Pro urychlení doby odezvy modelu
- K překladu textu do jiného jazyka
- Aby se snížily náklady na provoz modelu
- How does NIST define red teaming in the AI context?
- Training a model to imitate a specific person
- Structured adversarial testing to find flaws, vulnerabilities or unexpected system behaviors
- A way to increase context length
- A method for compressing neural-network weights
- Proč vícenásobné útěky z vězení fungují lépe, když se kontextová okna prodlužují?
- Delší výzvy jsou levnější na zpracování
- Delší kontext automaticky deaktivuje bezpečnostní klasifikátor
- Model může být zaplaven mnoha falešnými vyhovujícími příklady, které mění jeho chování
- Model po 100 slovech zapomene svůj původní návod
- What does a Constitutional Classifier defense add in the cited study?
- A larger context window only
- A database of human names
- An automatic guarantee that all harmful outputs are impossible
- Classifiers trained on synthetic examples from natural-language rules to screen harmful inputs or outputs
- What did the Many-shot Jailbreaking study demonstrate about safeguards?
- In its tested settings, long-context demonstrations could elicit behavior that safety training aimed to prevent
- Every model always complies with every harmful request
- Safety classifiers eliminate every possible attack
- The study only measured speech recognition accuracy
- What does the RedAgent paper automate in its red-team method?
- The training of a new foundation model from scratch
- Generation of context-aware jailbreak prompts using an autonomous language-agent system
- The legal review of every generated answer
- The deletion of all model safety policies
- What relationship did the Many-shot Jailbreaking study report between demonstration count and attack effectiveness?
- It dropped to zero after one example
- It was identical for every context size
- Effectiveness followed a power law up to hundreds of demonstrations in tested settings
- It depended only on image resolution
- What should a red-team report include to make findings interpretable?
- Only one successful prompt without context
- A claim that all models fail identically
- The model’s hidden training data
- The tested model and version, prompt conditions, evaluation scope and limitations