Pemaksaan Guru dalam Kuis Model Urutan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Selama pemaksaan guru, apa yang dimasukkan sebagai masukan pada setiap langkah decoding?
   • Token kebenaran dasar sebelumnya
   • Prediksi model itu sendiri sebelumnya
   • Token acak
   • Token keluaran akhir
2. During teacher-forced training, what target is paired with decoder input y_(t−1)?
   • The previous ground-truth token
   • The next target token y_t
   • A token sampled from the validation set
   • The maximum-probability output from an earlier training run
3. Ketidaksesuaian tes latihan yang disebabkan oleh pemaksaan guru disebut:
   • Gradien yang hilang
   • Mode runtuh
   • Bias eksposur
   • Kebocoran label
4. Dalam dekoder Transformer, mekanisme apa yang memungkinkan pelatihan paksa guru berjalan secara paralel di berbagai posisi?
   • Putus sekolah
   • Normalisasi batch
   • Pencarian balok
   • Masker perhatian kausal (memandang ke depan).
5. Pada saat inferensi, mengapa pemaksaan guru tidak dapat digunakan?
   • Tidak ada bukti nyata di masa depan yang perlu diberikan
   • Fungsi kerugian tidak tersedia
   • GPU-nya terlalu lambat
   • Masker perhatian dinonaktifkan
6. Kerugian manakah yang biasanya digunakan pada setiap langkah selama pelatihan yang dipaksakan oleh guru?
   • Berarti kesalahan kuadrat pada logit mentah
   • Entropi silang antara distribusi yang diprediksi dan token berikutnya yang sebenarnya
   • Hilangnya engsel pada penyematan
   • Hilangnya kesamaan kosinus
7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
   • The model’s prediction for “green”
   • The future token after “green”
   • The ground-truth previous token “blue”
   • A randomly sampled vocabulary item
8. At decoder position t, which tokens must a causal attention mask block?
   • The source sequence
   • All earlier target tokens
   • The current position’s own input
   • Target tokens at positions later than t