Decoding Spekulatif dengan Kuis EAGLE

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa ide inti di balik penguraian kode spekulatif?
   • Perancang murah mengusulkan beberapa token yang diverifikasi oleh model besar dalam satu jalur paralel
   • Mengompresi bobot model hingga setengah presisi
   • Melewati lapisan jaringan secara acak
   • Menyimpan setiap kemungkinan kalimat keluaran terlebih dahulu
2. Apa perbedaan EAGLE dengan pendekatan decoding spekulatif sebelumnya?
   • Ini menghilangkan langkah verifikasi sepenuhnya
   • Ini disusun dalam ruang fitur model yang tersembunyi, bukan langsung di tingkat token
   • Ia menggunakan model yang benar-benar terpisah dan lebih besar sebagai perancangnya
   • Ini hanya berfungsi untuk menghasilkan gambar
3. Why is speculative decoding considered lossless when implemented with exact verification?
   • Every draft token is accepted unconditionally
   • The drafter always predicts the target’s next token
   • The acceptance and correction procedure preserves the target model’s output distribution
   • The target model is never evaluated
4. Masalah apa dalam penyusunan fitur EAGLE yang dapat diselesaikan dengan memberi umpan balik pada penyematan token sebelumnya?
   • Fragmentasi memori pada GPU
   • Ketidakcocokan Tokenizer antar bahasa
   • Perangkat keras terlalu panas
   • Ketidakpastian/ambiguitas dalam memprediksi fitur selanjutnya
5. Apa yang ditambahkan EAGLE-2 dibandingkan EAGLE asli?
   • Draf pohon dinamis yang menyesuaikan jumlah kandidat yang akan diajukan
   • Draf token tunggal yang tetap
   • Penghapusan kepala LM
   • Pelatihan dua kali data saja
6. Mengapa kemacetan autoregresif membuat pembuatan LLM menjadi lambat?
   • Model melatih dirinya sendiri setelah setiap token
   • Setiap token baru memerlukan penerusan penuh melalui miliaran parameter sebelum token berikutnya dapat dimulai
   • Token disimpan di disk di antara langkah-langkah
   • GPU harus di-boot ulang per token
7. After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
   • The tokenizer’s vocabulary file alone
   • The optimizer’s momentum buffer
   • The target model’s language-model head
   • The KV-cache allocator
8. What change does EAGLE-3 make to the original feature-drafting constraint?
   • It replaces the target model with a tokenizer
   • It disables target verification
   • It requires a separate human drafter
   • It removes a feature-prediction constraint to improve scaling