Kuis terkait panduan · Keras Tingkat

Pengambilan Sampel Terjadwal dan Kuis Bias Eksposur

Memeriksa bagaimana pengambilan sampel terjadwal mengubah konteks decoder, mengapa probabilitas token emasnya menurun, dan gradien trade-off pengambilan sampel.

Jalur panduan terkaitPengambilan Sampel Terjadwal dan Bias Eksposur
Pertanyaan 1 dari 8

Bias eksposur muncul karena model yang dilatih dengan pemaksaan guru hanya mengkondisikan:

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Bias eksposur muncul karena model yang dilatih dengan pemaksaan guru hanya mengkondisikan:
    • Token kebenaran dasar, tetapi harus menggunakan tokennya sendiri dalam inferensi
    • Token prediksi mereka sendiri
    • Token kebisingan acak
    • Token masa depan
  2. Apa yang dilakukan pengambilan sampel terjadwal selama pelatihan?
    • Selalu berikan token yang sebenarnya
    • Memilih secara acak antara token sebenarnya dan prediksi model itu sendiri
    • Menonaktifkan fungsi kerugian secara berkala
    • Menggandakan kecepatan pembelajaran seiring waktu
  3. Bagaimana kemungkinan penggunaan token kebenaran dasar berubah selama pelatihan dalam pengambilan sampel terjadwal?
    • Itu tetap konstan
    • Ini dimulai dari rendah dan meningkat
    • Ini dimulai dari tinggi dan meluruh menuju nol
    • Ini berosilasi secara acak
  4. Siapa yang memperkenalkan pengambilan sampel terjadwal, dan kira-kira kapan?
    • Vaswani dkk., 2017
    • Hinton dkk., 2006
    • LeCun dkk., 1998
    • Bengio dkk., 2015
  5. Kelemahan teknis yang diketahui dalam memberikan kembali token sampel selama pelatihan adalah:
    • Langkah pengambilan sampel diskrit tidak dapat dibedakan, sehingga menyulitkan gradien
    • Hal ini membuat pelatihan sepenuhnya bersifat deterministik
    • Itu tidak memerlukan data validasi
    • Ini menghilangkan kebutuhan akan penyematan
  6. Bentuk jadwal manakah yang sering dikutip untuk mengurangi kemungkinan pemaksaan guru?
    • Konstan
    • Peluruhan invers-sigmoid
    • Peningkatan linier bertahap
    • Jalan acak
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning