Kuis Pemangkasan Terstruktur dan Penjatuhan Lapisan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Mengapa pemangkasan terstruktur menghasilkan percepatan yang nyata sedangkan pemangkasan tidak terstruktur sering kali tidak?
   • Pemangkasan terstruktur menghilangkan blok koheren yang sebenarnya mengecilkan tensor
   • Pemangkasan tidak terstruktur meningkatkan ukuran model
   • Pemangkasan terstruktur menambah lebih banyak lapisan
   • Pemangkasan tidak terstruktur hanya berfungsi pada CPU
2. Apa yang dimaksud dengan 'penjatuhan lapisan' dalam konteks transformator?
   • Mengurangi kecepatan pembelajaran per lapisan
   • Menghapus seluruh blok transformator untuk mengurangi kedalaman model
   • Menambahkan dropout ke setiap lapisan
   • Menyusun ulang lapisan secara acak
3. Sinyal manakah yang biasanya menunjukkan bahwa lapisan transformator dapat dijatuhkan dengan aman?
   • Lapisan tersebut memiliki parameter terbanyak
   • Lapisan tersebut adalah yang pertama dalam jaringan
   • Status tersembunyi masukan dan keluaran lapisan sangat mirip
   • Lapisan ini menggunakan memori paling banyak
4. Langkah apa yang biasanya memulihkan akurasi setelah pemangkasan terstruktur?
   • Hanya meningkatkan ukuran batch saja
   • Mengkuantisasi ulang menjadi 16 bit
   • Menambahkan lebih banyak perhatian kepala
   • Putaran singkat penyempurnaan atau penyulingan pengetahuan
5. Bagaimana seringnya kepala perhatian individu diberi peringkat untuk pemangkasan?
   • Dengan meningkatnya kerugian ketika kepala ditutupi (sensitivitas)
   • Berdasarkan urutan abjad
   • Berdasarkan posisi mereka dalam kosa kata
   • Berdasarkan jumlah token yang mereka lihat
6. Apa kegunaan praktis utama dari pemangkasan terstruktur yang dikombinasikan dengan distilasi?
   • Menghasilkan data pelatihan secara otomatis
   • Menghasilkan serangkaian model yang lebih kecil dan lebih cepat dari satu pos pemeriksaan besar
   • Mengenkripsi bobot model
   • Meningkatkan panjang jendela konteks
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping