Ustrukturyzowany quiz dotyczący przycinania i usuwania warstw

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Dlaczego przycinanie strukturalne powoduje rzeczywiste przyspieszenie, podczas gdy przycinanie nieustrukturyzowane często nie?
   • Przycinanie strukturalne usuwa spójne bloki, które w rzeczywistości zmniejszają tensory
   • Przycinanie bez struktury zwiększa rozmiar modelu
   • Strukturalne przycinanie dodaje więcej warstw
   • Przycinanie niestrukturalne działa tylko na procesorach
2. Co to jest „zrzucanie warstw” w kontekście transformatorów?
   • Zmniejszenie szybkości uczenia się na warstwę
   • Usuwanie całych bloków transformatorów w celu zmniejszenia głębokości modelu
   • Dodanie dropoutu do każdej warstwy
   • Losowa zmiana kolejności warstw
3. Który sygnał zwykle wskazuje, że warstwę transformatora można bezpiecznie odrzucić?
   • Warstwa ma najwięcej parametrów
   • Warstwa jest pierwszą w sieci
   • Ukryte stany wejściowe i wyjściowe warstwy są bardzo podobne
   • Warstwa zużywa najwięcej pamięci
4. Który krok zazwyczaj przywraca dokładność po uporządkowanym przycinaniu?
   • Tylko zwiększenie rozmiaru partii
   • Ponowna kwantyzacja do 16 bitów
   • Dodanie większej liczby głów uwagi
   • Krótka runda dostrajania lub destylacji wiedzy
5. W jaki sposób poszczególne głowy uwagi są często oceniane pod kątem przycinania?
   • Przez wzrost strat przy zamaskowanej głowie (czułość)
   • Według kolejności alfabetycznej
   • Według ich pozycji w słowniku
   • Według liczby żetonów, które widzieli
6. Jakie jest główne praktyczne zastosowanie uporządkowanego przycinania połączonego z destylacją?
   • Automatyczne generowanie danych treningowych
   • Wyprowadzenie rodziny mniejszych, szybszych modeli z jednego dużego punktu kontrolnego
   • Szyfrowanie wag modeli
   • Zwiększanie długości okna kontekstowego
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping