Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Ramalan Token Seterusnya

Semak latihan model bahasa autoregresif, konteks sebab akibat, paksaan guru dan perbezaan antara latihan dan penjanaan.

Laluan panduan yang berkaitanRamalan Token Seterusnya
soalan 1 daripada 8

Apakah output model ramalan token seterusnya pada setiap langkah?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah output model ramalan token seterusnya pada setiap langkah?
    • Taburan kebarangkalian ke atas perbendaharaan kata untuk token seterusnya
    • Satu perkataan tetap
    • Terjemahan ayat
    • Skor tatabahasa
  2. Apakah jenis perhatian yang digunakan oleh penyahkod gaya GPT?
    • Perhatian dua arah
    • Perhatian kausal (bertopeng) yang menyembunyikan token masa hadapan
    • Tiada perhatian langsung
    • Perhatian rawak
  3. Apakah maksud generasi 'autoregresif' di sini?
    • Model menjana semua token sekaligus
    • Model mundur kepada nilai min
    • Setiap token baharu dilampirkan dan dimasukkan semula untuk meramalkan token seterusnya
    • Token dijana dalam susunan rawak
  4. Apakah fungsi kehilangan yang biasanya diminimumkan semasa latihan?
    • Min ralat kuasa dua
    • Kehilangan engsel
    • Jarak kosinus
    • Entropi silang ke atas token seterusnya
  5. Apakah yang dilakukan dengan menaikkan suhu semasa pensampelan?
    • Menjadikan output lebih rawak dan kreatif
    • Menjadikan output secara tegas menentukan
    • Meningkatkan saiz perbendaharaan kata
    • Menanggalkan lapisan softmax
  6. Sebelum ramalan, bagaimanakah teks mentah biasanya disediakan?
    • Ia diterjemahkan ke dalam bahasa Inggeris
    • Ia dibahagikan kepada token oleh tokenizer
    • Ia ditukar kepada audio
    • Ia dibiarkan sebagai aksara mentah tanpa pemprosesan
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix