Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Pemangkasan Berstruktur dan Penjatuhan Lapisan

Menyemak sebab pemangkasan berstruktur mempercepatkan inferens, cara kepentingan lapisan dianggarkan, dan cara penalaan halus atau penyulingan memulihkan kualiti.

soalan 1 daripada 8

Mengapakah pemangkasan berstruktur menghasilkan kelajuan sebenar manakala pemangkasan tidak berstruktur selalunya tidak?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Mengapakah pemangkasan berstruktur menghasilkan kelajuan sebenar manakala pemangkasan tidak berstruktur selalunya tidak?
    • Pemangkasan berstruktur membuang blok koheren yang sebenarnya mengecutkan tensor
    • Pemangkasan tidak berstruktur meningkatkan saiz model
    • Pemangkasan berstruktur menambah lebih banyak lapisan
    • Pemangkasan tidak berstruktur hanya berfungsi pada CPU
  2. Apakah 'layer dropping' dalam konteks transformer?
    • Mengurangkan kadar pembelajaran setiap lapisan
    • Memadam keseluruhan blok pengubah untuk mengurangkan kedalaman model
    • Menambah keciciran pada setiap lapisan
    • Menyusun semula lapisan secara rawak
  3. Isyarat manakah yang biasanya menunjukkan bahawa lapisan pengubah boleh digugurkan dengan selamat?
    • Lapisan mempunyai parameter yang paling banyak
    • Lapisan adalah yang pertama dalam rangkaian
    • Keadaan tersembunyi input dan output lapisan adalah sangat serupa
    • Lapisan menggunakan paling banyak memori
  4. Apakah langkah yang biasanya memulihkan ketepatan selepas pemangkasan berstruktur?
    • Meningkatkan saiz kumpulan sahaja
    • Kuantiti semula kepada 16 bit
    • Menambah lebih banyak perhatian
    • Pusingan pendek penalaan halus atau penyulingan pengetahuan
  5. Bagaimanakah ketua perhatian individu sering diberi kedudukan untuk pemangkasan?
    • Dengan peningkatan kerugian apabila kepala bertopeng (sensitiviti)
    • Mengikut susunan abjad
    • Dengan kedudukan mereka dalam perbendaharaan kata
    • Dengan bilangan token yang telah mereka lihat
  6. Apakah kegunaan praktikal utama pemangkasan berstruktur digabungkan dengan penyulingan?
    • Menjana data latihan secara automatik
    • Menghasilkan keluarga model yang lebih kecil dan lebih pantas daripada satu pusat pemeriksaan yang besar
    • Menyulitkan berat model
    • Meningkatkan panjang tetingkap konteks
  7. Mengapakah pelajar yang lebih kecil boleh memulihkan beberapa fungsi model yang dipangkas semasa penyulingan?
    • Ia memulihkan berat yang dipadam di tempatnya
    • Ia menukar label ujian
    • Ia dilatih untuk memadankan output berguna atau tingkah laku guru yang lebih besar
    • Ia menghilangkan keperluan untuk pengesahan
  8. Jika input dan output lapisan pengubah mempunyai persamaan kosinus yang tinggi, apakah yang dicadangkan di bawah heuristik pemangkasan panduan?
    • Lapisan itu dijamin tidak berguna untuk setiap tugas
    • Model mesti menambah lapisan lain
    • Output tidak mempunyai ciri
    • Lapisan mengubah perwakilan agak sedikit dan mungkin menjadi calon untuk digugurkan