Kuiz berkaitan panduan · Keras Tahap

Penstriman Spekulatif dan Kuiz Ramalan Berbilang Token

Menyemak cadangan draf, pengesahan sasaran, awalan yang diterima, kepala berbilang token dan sebab kadar penerimaan mempengaruhi kelajuan penyahkodan.

Laluan panduan yang berkaitanPenstriman Spekulatif Dan Ramalan Berbilang Token
soalan 1 daripada 8

Mengapakah penyahkodan autoregresif standard selalunya perlahan pada GPU?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Mengapakah penyahkodan autoregresif standard selalunya perlahan pada GPU?
    • Token dihasilkan satu demi satu, menjadikan GPU kurang digunakan setiap langkah
    • GPU kehabisan memori serta-merta
    • Ia mesti melatih semula pada setiap token
    • Perbendaharaan kata terlalu kecil
  2. Apakah yang dilakukan oleh 'penggubal' dalam penyahkodan spekulatif?
    • Ia menulis jawapan akhir sahaja
    • Ia mencadangkan beberapa token masa depan calon dengan murah
    • Ia memadamkan token berkemungkinan rendah
    • Ia memampatkan berat model
  3. Bagaimanakah kualiti output dikekalkan dalam penyahkodan spekulatif?
    • Dengan membundarkan kebarangkalian kepada sifar
    • Dengan menggunakan kosa kata yang lebih besar
    • Dengan pengesahan yang hanya menerima token yang sepadan dengan pengedaran sasaran
    • Dengan melangkau pengesahan sepenuhnya
  4. Apakah yang membezakan ramalan berbilang token gaya Medusa daripada penyahkodan spekulatif klasik?
    • Ia memerlukan dua model besar yang berasingan
    • Ia hanya berfungsi untuk penjanaan imej
    • Ia menghilangkan keperluan untuk sebarang hantaran hadapan
    • Ia menambahkan kepala ramalan yang lebih ringan supaya satu model membuat draf dan mengesahkan
  5. Mengapakah pengubah boleh mengesahkan banyak jawatan calon hampir semurah satu semasa penyahkodan?
    • Kerana penyahkodan adalah terikat lebar jalur memori, bukan terikat pengiraan
    • Kerana ia cache seluruh internet
    • Kerana pengesahan melangkau lapisan perhatian
    • Kerana kelajuan jam GPU berganda
  6. Apakah yang menentukan kelajuan daripada kaedah spekulatif atau berbilang token?
    • Warna GPU
    • Purata bilangan token yang diterima setiap langkah
    • Panjang nama model
    • Saiz cakera
  7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
    • A, B and C
    • B and C only
    • A, the matching prefix before the first mismatch
    • None, even if A matches
  8. Why can speculative decoding preserve the target model’s output distribution?
    • The drafter is guaranteed to be identical to the target
    • The target model is never run
    • All proposed tokens are accepted unconditionally
    • A verification and correction rule accepts or rejects draft tokens according to the target distribution