Dikkat Mekanizmaları Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. What does token attention combine when forming an output representation?
   • Permanent copies of the entire conversation on disk
   • Value information from allowed positions using computed weights
   • Only manually chosen keywords with no learned scores
   • A translation dictionary that removes every other token
2. Hangi dönüm noktası niteliğindeki 2017 makalesi transformatör mimarisini tanıttı?
   • 'Görüntü Tanıma için Derin Kalıntı Öğrenme'
   • 'Derin Güçlendirmeli Öğrenme ile Atari Oynamak'
   • 'İhtiyacınız Olan Tek Şey Dikkat'
   • 'Üretici Rekabetçi Ağlar'
3. Dikkatteki her jeton için hesaplanan üç vektör nelerdir?
   • Sorgu, anahtar ve değer
   • Giriş, çıkış ve önyargı
   • Ortalama, medyan ve mod
   • Kodlayıcı, kod çözücü ve kayıp
4. Softmax(QK^T / √d_k) V formülünde neden √d_k'ye bölelim?
   • Sonucu tam sayılara dönüştürmek için
   • Negatif sayıları kaldırmak için
   • Modelin GPU'da çalışmasını sağlamak için
   • Softmax'tan önce nokta çarpım puanlarının çok büyük olmasını önlemek için
5. Why does dense self-attention involve growing pairwise work for very long token sequences?
   • Çünkü internetten yeni veriler indirmesi gerekiyor
   • Çünkü daha uzun metinler her zaman daha nadir kelimeler içerir
   • Çünkü maliyet dizi uzunluğunun karesiyle artar (O(n²))
   • Çünkü daha yavaş bir programlama diline geçer
6. What capacity does multi-head attention provide through separate learned projections?
   • A guarantee that every head has one unique named meaning
   • Several attention representations that can capture different relationships in parallel
   • Removal of every token embedding
   • A reduction of vocabulary size by definition
7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
   • Sekiz
   • Dört
   • iki
   • üç
8. What does a causal attention mask prevent in an autoregressive text decoder?
   • Using later token positions when forming the current position's representation
   • Using any previous token
   • Computing any query or key vectors
   • Learning all model parameters