Quiz dotyczący przycinania modeli

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. What does model pruning remove from a trained network?
   • Usuwanie ciężarów lub konstrukcji, które w niewielkim stopniu wpływają na wydajność
   • Dodanie większej liczby parametrów w celu poprawy dokładności
   • Trenowanie modelu dla większej liczby epok
   • Zwiększanie rozdzielczości wejściowej
2. Co odróżnia przycinanie strukturalne od przycinania nieustrukturyzowanego?
   • Przycinanie strukturalne działa tylko na obrazach
   • Ustrukturyzowane przycinanie usuwa całe jednostki, takie jak neurony lub głowy; niestrukturalny usuwa indywidualne ciężary
   • Przycinanie nieustrukturyzowane wymaga przeszkolenia od zera
   • Nie ma między nimi praktycznej różnicy
3. Dlaczego przycinanie nieustrukturyzowane często nie przyspiesza modelu na zwykłym sprzęcie?
   • Usuwa zbyt wiele warstw
   • Zawsze zmniejsza dokładność do zera
   • Rzadkie macierze wag wymagają specjalnego sprzętu lub bibliotek, aby wykorzystać zera
   • Zwiększa liczbę parametrów
4. Jaki jest typowy przepis na iteracyjne przycinanie?
   • Przytnij wszystko na raz, a następnie rozłóż
   • Najpierw kwantyfikuj, a potem nigdy nie przekwalifikuj się
   • Losowo usuwaj warstwy, aż dokładność spadnie
   • Trenuj, przycinaj najmniej ważne parametry, dostrajaj, aby odzyskać i powtarzaj
5. Co głosi hipoteza dotycząca losu na loterię?
   • Gęste sieci zawierają rzadkie podsieci, które mogą pasować do pełnego modelu, jeśli zostaną przeszkolone na podstawie właściwej inicjalizacji
   • Przycinanie zawsze poprawia dokładność
   • Losowe przycinanie jest zawsze najlepsze
   • Duże modele nie mogą być kompresowane
6. Jakie proste kryterium jest powszechnie stosowane przy podejmowaniu decyzji, które ciężary należy przyciąć?
   • Alfabetyczna kolejność nazw warstw
   • Bezwzględna wielkość wag
   • Kolor map aktywacyjnych
   • Liczba przykładów szkoleniowych
7. When is pruning most likely to reduce inference latency on ordinary dense hardware?
   • When individual zeros are added but the dense kernel still computes them
   • When the model is renamed without changing its graph
   • When whole channels or other structures are removed to produce a smaller dense model
   • When a sparse checkpoint is stored in a larger file
8. What should a team measure after pruning for a deployment target?
   • Only the number of zeros in a checkpoint
   • Only training accuracy before pruning
   • Whether the file extension changed
   • Task quality and latency or memory on the intended hardware