Quiz dotyczący ekstrakcji modelu i kradzieży ataków

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka jest główna idea ataku polegającego na ekstrakcji modelu?
   • Zapytanie o model i uczenie substytutu w celu imitowania jego wyników
   • Włamanie się na serwer w celu bezpośredniego skopiowania plików wag
   • Przekupienie pracownika w celu wycieku zbioru danych szkoleniowych
   • Przeciążanie interfejsu API do momentu awarii i zrzutu pamięci
2. Dlaczego zwracanie wektorów pełnego prawdopodobieństwa ułatwia ekstrakcję niż zwracanie tylko etykiety z pierwszego miejsca?
   • Szyfruje odpowiedź, spowalniając atakującego
   • Wycieka więcej informacji na każde zapytanie, więc potrzeba mniej zapytań
   • Całkowicie ukrywa granicę decyzji
   • Zwiększa koszt serwera, więc napastnicy się poddają
3. Która technika obronna bezpośrednio ogranicza wycieki informacji w ramach zapytania?
   • Dodanie większej liczby procesorów graficznych do serwera
   • Zwiększanie liczby parametrów modelu
   • Zwracanie wyników zaokrąglonych lub tylko do góry 1
   • Otwarte publikowanie danych szkoleniowych
4. What did the 2024 production-language-model extraction paper report about GPT-3.5 Turbo?
   • It reconstructs every GPT-3.5 parameter exactly for under $20
   • It obtains the model’s training dataset directly
   • It extracts a complete model checkpoint from the API
   • It recovers the embedding-projection layer; the paper estimates under $2,000 in queries for GPT-3.5 Turbo
5. Dlaczego skradziony model zastępczy jest niebezpieczny poza samą utratą przychodów?
   • Umożliwia ataki typu white-box w trybie offline, takie jak tworzenie przykładów kontradyktoryjnych
   • Poprawia dokładność oryginalnego modelu
   • Automatycznie usuwa oryginalny model
   • Wymagane jest przeszkolenie oryginału
6. In ActiveThief, what does the combined DFAL + K-center query strategy aim to balance?
   • Boundary-proximate informative samples and reduced redundancy among selected samples
   • Exact recovery of all secret model weights and a guaranteed substitute
   • Random sampling only and avoiding all substitute-model predictions
   • Higher API throughput and removal of the query budget
7. What can API rate limits do against a model-extraction attempt?
   • Prove that no substitute model can be trained
   • Remove all information from each permitted prediction
   • Make large-scale querying slower or more expensive
   • Make model outputs impossible to compare
8. What does the DynaMarks paper propose for a model-extraction defense?
   • It adds a logo to every generated answer
   • It encrypts all model weights at rest
   • It guarantees ownership of every copied production model
   • It can embed a signature in a surrogate model by dynamically changing API outputs using secret parameters