Kuis Mekanisme Perhatian

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. What does token attention combine when forming an output representation?
   • Permanent copies of the entire conversation on disk
   • Value information from allowed positions using computed weights
   • Only manually chosen keywords with no learned scores
   • A translation dictionary that removes every other token
2. Makalah penting tahun 2017 manakah yang memperkenalkan arsitektur transformator?
   • 'Pembelajaran Residual Mendalam untuk Pengenalan Gambar'
   • 'Memainkan Atari dengan Pembelajaran Penguatan Mendalam'
   • 'Perhatian Adalah Yang Anda Butuhkan'
   • 'Jaringan Permusuhan Generatif'
3. Tiga vektor apa yang dihitung untuk setiap token yang diperhatikan?
   • Kueri, kunci, dan nilai
   • Masukan, keluaran, dan bias
   • Mean, median, dan modus
   • Encoder, decoder, dan kerugian
4. Pada rumus softmax(QK^T / √d_k) V, kenapa dibagi dengan √d_k?
   • Untuk mengubah hasilnya menjadi bilangan bulat
   • Untuk menghilangkan angka negatif
   • Untuk membuat model berjalan pada GPU
   • Untuk menjaga skor dot-product menjadi terlalu besar sebelum softmax
5. Why does dense self-attention involve growing pairwise work for very long token sequences?
   • Karena harus mendownload data baru dari internet
   • Karena teks yang lebih panjang selalu berisi kata-kata yang lebih jarang
   • Karena biaya bertambah seiring dengan kuadrat panjang barisan (O(n²))
   • Karena beralih ke bahasa pemrograman yang lebih lambat
6. What capacity does multi-head attention provide through separate learned projections?
   • A guarantee that every head has one unique named meaning
   • Several attention representations that can capture different relationships in parallel
   • Removal of every token embedding
   • A reduction of vocabulary size by definition
7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
   • Delapan
   • Empat
   • Dua
   • Tiga
8. What does a causal attention mask prevent in an autoregressive text decoder?
   • Using later token positions when forming the current position's representation
   • Using any previous token
   • Computing any query or key vectors
   • Learning all model parameters