Kuis terkait panduan · Sedang Tingkat

Kuis Arsitektur Encoder-Decoder

Tinjau komponen model encoder-decoder, perhatian sumber-ke-target, dan penggunaan teks-ke-teks dalam tugas penerjemahan dan bahasa.

Jalur panduan terkaitArsitektur Decoder Encoder
Pertanyaan 1 dari 8

Apa tugas utama encoder dalam model encoder-decoder?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa tugas utama encoder dalam model encoder-decoder?
    • Untuk membaca masukan dan mengubahnya menjadi representasi internal yang kaya
    • Untuk menghasilkan output satu token pada satu waktu
    • Untuk memberi peringkat keluaran kandidat berdasarkan probabilitas
    • Untuk menyimpan data pelatihan model
  2. Mengapa decoder menggunakan perhatian diri yang terselubung (kausal)?
    • Untuk menyembunyikan input dari encoder
    • Untuk mencegah setiap posisi melihat token masa depan selama pembuatan
    • Untuk mengompresi output menjadi token yang lebih sedikit
    • Untuk menjatuhkan token secara acak untuk regularisasi
  3. Mekanisme apa yang menghubungkan decoder ke representasi encoder?
    • Putus sekolah
    • Normalisasi batch
    • Perhatian silang
    • Pengkodean posisi
  4. Manakah dari model berikut yang merupakan arsitektur encoder-decoder (urutan-ke-urutan)?
    • GPT-3
    • BERT
    • Kata2Vec
    • T5
  5. Mengapa desain encoder-decoder cocok untuk penerjemahan?
    • Karena input dan outputnya berbeda urutannya, memerlukan pemahaman penuh kemudian generasi baru
    • Karena input dan outputnya selalu sama panjangnya
    • Karena tidak perlu menghasilkan teks baru
    • Karena menghindari penggunaan perhatian sepenuhnya
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text