Kuiz berkaitan panduan · Keras Tahap

Persampelan Berjadual dan Kuiz Bias Pendedahan

Menyemak cara pensampelan berjadual mengubah konteks penyahkod, sebab kebarangkalian token emasnya mereput dan pertukaran kecerunan pensampelan.

Laluan panduan yang berkaitanPensampelan Berjadual Dan Bias Pendedahan
soalan 1 daripada 8

Bias pendedahan timbul kerana model yang dilatih dengan guru memaksa hanya dengan syarat:

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Bias pendedahan timbul kerana model yang dilatih dengan guru memaksa hanya dengan syarat:
    • Token kebenaran asas, tetapi mesti menggunakan token sendiri pada inferens
    • Token ramalan mereka sendiri
    • Token hingar rawak
    • Token masa depan
  2. Apakah yang dilakukan pensampelan berjadual semasa latihan?
    • Sentiasa suapan token yang benar
    • Memilih secara rawak antara token sebenar dan ramalan model itu sendiri
    • Melumpuhkan fungsi kehilangan secara berkala
    • Menggandakan kadar pembelajaran dari semasa ke semasa
  3. Bagaimanakah kebarangkalian menggunakan token kebenaran asas berubah berbanding latihan dalam persampelan berjadual?
    • Ia tetap berterusan
    • Ia bermula rendah dan meningkat
    • Ia bermula tinggi dan mereput ke arah sifar
    • Ia berayun secara rawak
  4. Siapa yang memperkenalkan persampelan berjadual, dan kira-kira bila?
    • Vaswani et al., 2017
    • Hinton et al., 2006
    • LeCun et al., 1998
    • Bengio et al., 2015
  5. Kelemahan teknikal yang diiktiraf untuk memberi sampel semula token semasa latihan ialah:
    • Langkah pensampelan diskret adalah tidak boleh dibezakan, merumitkan kecerunan
    • Ia menjadikan latihan sepenuhnya deterministik
    • Ia tidak memerlukan data pengesahan
    • Ia menghapuskan keperluan untuk benam
  6. Bentuk jadual manakah yang biasa disebut untuk mereputkan kebarangkalian memaksa guru?
    • berterusan
    • Pereputan sigmoid songsang
    • Peningkatan linear langkah-langkah
    • Berjalan secara rawak
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning