Przykłady kontradyktoryjne i quiz dotyczący wytrzymałości

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Under a specified threat model, what is an adversarial example?
   • An input crafted to cause a model error using changes allowed by that threat model
   • Any ordinary prediction error on unmodified input
   • An input that must contain tiny, imperceptible pixel changes
   • A model update that improves accuracy on every distribution
2. Co odróżnia atak „białej skrzynki” od ataku „czarnej skrzynki”?
   • Ataki białej skrzynki działają tylko na białe obrazy
   • W białej skrzynce atakujący ma dostęp do elementów wewnętrznych/gradientów modelu; w czarnej skrzynce tylko wyjścia
   • Ataki z użyciem czarnej skrzynki są zawsze szybsze
   • Ataki typu „biała skrzynka” nie wymagają obliczeń
3. FGSM (metoda szybkiego znaku gradientowego) tworzy kontradyktoryjny przykład poprzez...
   • Losowe mieszanie pikseli
   • Ponowne uczenie modelu od zera
   • Zrób krok w kierunku znaku gradientu strat w stosunku do wejścia
   • Przycinanie obrazu
4. What is adversarial training commonly used for?
   • Guaranteeing robustness to every possible attack
   • Proving a classifier is fair
   • Eliminating all clean-data errors
   • Improving robustness against the adversarial threat model represented during training
5. Dlaczego „przenoszenie” kontradyktoryjnych przykładów jest niepokojące?
   • Atak wykonany na jeden model często oszukuje inne modele, umożliwiając ataki czarnej skrzynki
   • To sprawia, że modele uczą się wolniej
   • Zwiększa koszty przechowywania
   • Dotyczy tylko modeli audio
6. How are prompt-injection attacks related to image adversarial examples?
   • They are identical bounded pixel perturbations
   • Both exploit model vulnerabilities, but prompt injection has a distinct instruction and system threat model
   • Prompt injection requires changing model weights
   • Image adversarial examples only affect text prompts
7. Why must an adversarial-robustness report specify the perturbation norm and budget?
   • They determine the model’s number of parameters
   • They guarantee transfer to every attack
   • They define which input changes the reported robustness claim covers
   • They replace the need to state an attacker’s access
8. Which pair of measures helps distinguish clean performance from performance under a specified attack?
   • Training-set size and GPU memory
   • Tokenization rate and context length
   • Model file size and parameter dtype
   • Clean accuracy and robust accuracy under the stated attack setting