Kuiz berkaitan panduan · Sederhana Tahap
Kuiz Pemangkasan Berstruktur dan Penjatuhan Lapisan
Menyemak sebab pemangkasan berstruktur mempercepatkan inferens, cara kepentingan lapisan dianggarkan, dan cara penalaan halus atau penyulingan memulihkan kualiti.
soalan 1 daripada 8
Mengapakah pemangkasan berstruktur menghasilkan kelajuan sebenar manakala pemangkasan tidak berstruktur selalunya tidak?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Mengapakah pemangkasan berstruktur menghasilkan kelajuan sebenar manakala pemangkasan tidak berstruktur selalunya tidak?
- Pemangkasan berstruktur membuang blok koheren yang sebenarnya mengecutkan tensor
- Pemangkasan tidak berstruktur meningkatkan saiz model
- Pemangkasan berstruktur menambah lebih banyak lapisan
- Pemangkasan tidak berstruktur hanya berfungsi pada CPU
- Apakah 'layer dropping' dalam konteks transformer?
- Mengurangkan kadar pembelajaran setiap lapisan
- Memadam keseluruhan blok pengubah untuk mengurangkan kedalaman model
- Menambah keciciran pada setiap lapisan
- Menyusun semula lapisan secara rawak
- Isyarat manakah yang biasanya menunjukkan bahawa lapisan pengubah boleh digugurkan dengan selamat?
- Lapisan mempunyai parameter yang paling banyak
- Lapisan adalah yang pertama dalam rangkaian
- Keadaan tersembunyi input dan output lapisan adalah sangat serupa
- Lapisan menggunakan paling banyak memori
- Apakah langkah yang biasanya memulihkan ketepatan selepas pemangkasan berstruktur?
- Meningkatkan saiz kumpulan sahaja
- Kuantiti semula kepada 16 bit
- Menambah lebih banyak perhatian
- Pusingan pendek penalaan halus atau penyulingan pengetahuan
- Bagaimanakah ketua perhatian individu sering diberi kedudukan untuk pemangkasan?
- Dengan peningkatan kerugian apabila kepala bertopeng (sensitiviti)
- Mengikut susunan abjad
- Dengan kedudukan mereka dalam perbendaharaan kata
- Dengan bilangan token yang telah mereka lihat
- Apakah kegunaan praktikal utama pemangkasan berstruktur digabungkan dengan penyulingan?
- Menjana data latihan secara automatik
- Menghasilkan keluarga model yang lebih kecil dan lebih pantas daripada satu pusat pemeriksaan yang besar
- Menyulitkan berat model
- Meningkatkan panjang tetingkap konteks
- Mengapakah pelajar yang lebih kecil boleh memulihkan beberapa fungsi model yang dipangkas semasa penyulingan?
- Ia memulihkan berat yang dipadam di tempatnya
- Ia menukar label ujian
- Ia dilatih untuk memadankan output berguna atau tingkah laku guru yang lebih besar
- Ia menghilangkan keperluan untuk pengesahan
- Jika input dan output lapisan pengubah mempunyai persamaan kosinus yang tinggi, apakah yang dicadangkan di bawah heuristik pemangkasan panduan?
- Lapisan itu dijamin tidak berguna untuk setiap tugas
- Model mesti menambah lapisan lain
- Output tidak mempunyai ciri
- Lapisan mengubah perwakilan agak sedikit dan mungkin menjadi calon untuk digugurkan