Kuis terkait panduan · Sedang Tingkat

Kuis Prediksi Token Berikutnya

Tinjau pelatihan model bahasa autoregresif, konteks sebab akibat, pemaksaan guru, dan perbedaan antara pelatihan dan pembangkitan.

Jalur panduan terkaitPrediksi Token Berikutnya
Pertanyaan 1 dari 8

Apa yang dihasilkan oleh model prediksi token berikutnya pada setiap langkah?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa yang dihasilkan oleh model prediksi token berikutnya pada setiap langkah?
    • Distribusi probabilitas kosakata untuk token berikutnya
    • Satu kata yang tetap
    • Terjemahan kalimatnya
    • Skor tata bahasa
  2. Jenis perhatian apa yang digunakan dekoder gaya GPT?
    • Perhatian dua arah
    • Perhatian kausal (tertutup) yang menyembunyikan token masa depan
    • Tidak ada perhatian sama sekali
    • Perhatian acak
  3. Apa yang dimaksud dengan generasi 'autoregresif' di sini?
    • Model ini menghasilkan semua token sekaligus
    • Model mengalami regresi ke nilai rata-rata
    • Setiap token baru ditambahkan dan dimasukkan kembali untuk memprediksi token berikutnya
    • Token dihasilkan dalam urutan acak
  4. Fungsi kerugian apa yang biasanya diminimalkan selama pelatihan?
    • Kesalahan kuadrat rata-rata
    • Kehilangan engsel
    • Jarak kosinus
    • Entropi silang pada token berikutnya
  5. Apa gunanya menaikkan suhu selama pengambilan sampel?
    • Membuat keluaran lebih acak dan kreatif
    • Menjadikan keluaran sangat deterministik
    • Meningkatkan ukuran kosakata
    • Menghapus lapisan softmax
  6. Sebelum prediksi, bagaimana biasanya teks mentah disiapkan?
    • Ini diterjemahkan ke dalam bahasa Inggris
    • Itu dipecah menjadi token oleh tokenizer
    • Itu diubah menjadi audio
    • Itu dibiarkan sebagai karakter mentah tanpa pemrosesan
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix