Kuis terkait panduan · Keras Tingkat

Streaming Spekulatif dan Kuis Prediksi Multi-Token

Memeriksa rancangan proposal, verifikasi target, awalan yang diterima, kepala multi-token, dan mengapa tingkat penerimaan memengaruhi kecepatan decoding.

Jalur panduan terkaitStreaming Spekulatif Dan Prediksi Multi Token
Pertanyaan 1 dari 8

Mengapa decoding autoregresif standar sering kali lambat pada GPU?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Mengapa decoding autoregresif standar sering kali lambat pada GPU?
    • Token diproduksi satu per satu, sehingga GPU kurang dimanfaatkan per langkahnya
    • GPU langsung kehabisan memori
    • Itu harus dilatih ulang pada setiap token
    • Kosakatanya terlalu sedikit
  2. Apa yang dilakukan 'perancang' dalam penguraian kode spekulatif?
    • Itu menulis jawaban akhir saja
    • Ini mengusulkan beberapa kandidat token masa depan dengan harga murah
    • Ini menghapus token dengan probabilitas rendah
    • Ini memampatkan bobot model
  3. Bagaimana kualitas keluaran dipertahankan dalam penguraian kode spekulatif?
    • Dengan membulatkan probabilitas menjadi nol
    • Dengan menggunakan kosakata yang lebih luas
    • Dengan verifikasi yang hanya menerima token yang cocok dengan distribusi target
    • Dengan melewatkan verifikasi sepenuhnya
  4. Apa yang membedakan prediksi multi-token gaya Medusa dari decoding spekulatif klasik?
    • Hal ini memerlukan dua model besar yang terpisah
    • Ini hanya berfungsi untuk menghasilkan gambar
    • Ini menghilangkan kebutuhan akan umpan ke depan
    • Ini menambahkan kepala prediksi ekstra ringan sehingga satu model menyusun dan memverifikasi
  5. Mengapa sebuah trafo dapat memverifikasi banyak kandidat posisi hampir semurah satu saat decoding?
    • Karena decoding terikat pada bandwidth memori, bukan terikat pada komputasi
    • Karena itu menyimpan cache seluruh internet
    • Karena verifikasi melewatkan lapisan perhatian
    • Karena kecepatan jam GPU berlipat ganda
  6. Apa yang terutama menentukan percepatan dari metode spekulatif atau multi-token?
    • Warna GPU
    • Jumlah rata-rata token yang diterima per langkah
    • Panjang nama model
    • Ukuran disknya
  7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
    • A, B and C
    • B and C only
    • A, the matching prefix before the first mismatch
    • None, even if A matches
  8. Why can speculative decoding preserve the target model’s output distribution?
    • The drafter is guaranteed to be identical to the target
    • The target model is never run
    • All proposed tokens are accepted unconditionally
    • A verification and correction rule accepts or rejects draft tokens according to the target distribution