Peluncuran Perhatian dan Kuis Pemangkasan Kepala

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa tujuan peluncuran perhatian?
   • Untuk melacak aliran informasi kumulatif dari token masukan ke keluaran di seluruh lapisan
   • Untuk menambahkan lebih banyak lapisan ke Transformer
   • Untuk meningkatkan kecepatan pembelajaran
   • Untuk mengubah perhatian menjadi konvolusi
2. Mengapa peta perhatian satu lapisan seringkali tidak cukup untuk menjelaskan?
   • Perhatian tidak pernah dihitung
   • Informasi bercampur di banyak lapisan dan kepala, sehingga satu peta kehilangan seluruh jalurnya
   • Peta selalu seragam
   • Transformer hanya memiliki satu kepala
3. Apa yang ditambahkan oleh peluncuran perhatian ke setiap matriks perhatian untuk memperhitungkan koneksi sisa?
   • Biasnya nol
   • Istilah kebisingan acak
   • Komponen matriks identitas sebelum normalisasi
   • Softmax ekstra
4. Apa yang diungkapkan oleh penelitian tentang perhatian multi-kepala tentang redundansi kepala?
   • Setiap kepala sangat penting
   • Kepala tidak bisa dihilangkan
   • Pemangkasan selalu menggandakan akurasi
   • Banyak kepala yang dapat dipangkas dengan sedikit kehilangan akurasi
5. Bagaimana perkiraan kepentingan kepala untuk pemangkasan?
   • Melalui sensitivitas berbasis gradien dari hilangnya masker kepala
   • Berdasarkan posisi abjadnya
   • Dengan menghitung parameternya saja
   • Pada saat siang hari
6. What different jobs do attention rollout and head pruning each do?
   • Itu adalah teknik yang identik
   • Peluncuran membantu interpretasi sambil memangkas eksploitasi redundansi untuk mengompresi model
   • Keduanya hanya menambahkan parameter
   • Tidak ada yang menarik perhatian
7. In an attention-rollout calculation, why are residual paths included with layer attention?
   • To make every head have the same weight
   • To remove the value vectors from the Transformer
   • To approximate information that can pass along the identity path when layer transitions are composed
   • To prevent the attention matrix from being normalized
8. How should an attention-rollout score be interpreted?
   • As proof that a token caused the output
   • As the exact value vector used at every layer
   • As a measure of how many heads the model contains
   • As a post-hoc approximation of relative token influence, not a causal explanation