Kuiz berkaitan panduan · Keras Tahap

Kuiz Mekanisme Perhatian

Uji perhatian nilai kunci pertanyaan, penskalaan softmax, kepala selari, kos perhatian padat, pengiraan nilai wajaran dan penutup sebab untuk penjanaan.

Laluan panduan yang berkaitanMekanisme Perhatian
soalan 1 daripada 8

What does token attention combine when forming an output representation?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. What does token attention combine when forming an output representation?
    • Permanent copies of the entire conversation on disk
    • Value information from allowed positions using computed weights
    • Only manually chosen keywords with no learned scores
    • A translation dictionary that removes every other token
  2. Kertas mercu tanda 2017 manakah yang memperkenalkan seni bina transformer?
    • 'Pembelajaran Sisa Mendalam untuk Pengecaman Imej'
    • 'Memainkan Atari dengan Pembelajaran Peneguhan Mendalam'
    • 'Perhatian Adalah Semua yang Anda Perlu'
    • 'Rangkaian Adversarial Generatif'
  3. Apakah tiga vektor yang dikira untuk setiap token dalam perhatian?
    • Pertanyaan, kunci dan nilai
    • Input, output dan berat sebelah
    • Min, median dan mod
    • Pengekod, penyahkod dan kerugian
  4. Dalam formula softmax(QK^T / √d_k) V, mengapa bahagikan dengan √d_k?
    • Untuk menukar hasil kepada integer
    • Untuk membuang nombor negatif
    • Untuk menjadikan model berjalan pada GPU
    • Untuk memastikan skor produk titik daripada menjadi terlalu besar sebelum softmax
  5. Why does dense self-attention involve growing pairwise work for very long token sequences?
    • Kerana ia mesti memuat turun data baru dari internet
    • Kerana teks yang lebih panjang sentiasa mengandungi perkataan yang lebih jarang
    • Kerana kos meningkat dengan kuasa dua panjang jujukan (O(n²))
    • Kerana ia bertukar kepada bahasa pengaturcaraan yang lebih perlahan
  6. What capacity does multi-head attention provide through separate learned projections?
    • A guarantee that every head has one unique named meaning
    • Several attention representations that can capture different relationships in parallel
    • Removal of every token embedding
    • A reduction of vocabulary size by definition
  7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
    • Lapan
    • Empat
    • dua
    • Tiga
  8. What does a causal attention mask prevent in an autoregressive text decoder?
    • Using later token positions when forming the current position's representation
    • Using any previous token
    • Computing any query or key vectors
    • Learning all model parameters