Perhatian Pelancaran dan Kuiz Pemangkasan Kepala

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah matlamat pelancaran perhatian?
   • Untuk mengesan aliran maklumat kumulatif daripada token input kepada output merentas lapisan
   • Untuk menambah lebih banyak lapisan pada Transformer
   • Untuk meningkatkan kadar pembelajaran
   • Untuk menukar perhatian kepada lilitan
2. Mengapakah peta perhatian satu lapisan selalunya tidak mencukupi untuk penjelasan?
   • Perhatian tidak pernah dikira
   • Maklumat bercampur merentasi banyak lapisan dan kepala, jadi satu peta terlepas laluan penuh
   • Peta sentiasa seragam
   • Transformer hanya mempunyai satu kepala
3. Apakah yang ditambahkan oleh pelancaran perhatian pada setiap matriks perhatian untuk mengambil kira sambungan baki?
   • Bias sifar
   • Istilah bunyi rawak
   • Komponen matriks identiti sebelum dinormalisasi
   • Softmax tambahan
4. Apakah yang didedahkan oleh penyelidikan mengenai perhatian berbilang kepala tentang redundansi kepala?
   • Setiap kepala adalah penting
   • Kepala tidak boleh ditanggalkan
   • Pemangkasan sentiasa menggandakan ketepatan
   • Banyak kepala boleh dipangkas dengan sedikit kehilangan ketepatan
5. Bagaimanakah kepentingan kepala biasanya dianggarkan untuk pemangkasan?
   • Melalui sensitiviti berasaskan kecerunan kehilangan topeng kepala
   • Mengikut kedudukan abjadnya
   • Dengan mengira parameternya sahaja
   • Menjelang masa hari
6. Apakah pekerjaan berbeza yang dilakukan oleh pelancaran perhatian dan pemangkasan kepala?
   • Mereka adalah teknik yang sama
   • Pelancaran membantu tafsiran manakala pemangkasan mengeksploitasi lebihan untuk memampatkan model
   • Kedua-duanya hanya menambah parameter
   • Kedua-duanya tidak menyentuh perhatian
7. In an attention-rollout calculation, why are residual paths included with layer attention?
   • To make every head have the same weight
   • To remove the value vectors from the Transformer
   • To approximate information that can pass along the identity path when layer transitions are composed
   • To prevent the attention matrix from being normalized
8. How should an attention-rollout score be interpreted?
   • As proof that a token caused the output
   • As the exact value vector used at every layer
   • As a measure of how many heads the model contains
   • As a post-hoc approximation of relative token influence, not a causal explanation