Bài kiểm tra xác minh lấy mẫu suy đoán

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Ý tưởng cốt lõi đằng sau việc lấy mẫu suy đoán là gì?
   • Sử dụng mô hình dự thảo nhỏ để đề xuất nhiều mã thông báo mà mô hình lớn xác minh song song
   • Huấn luyện một mô hình khổng lồ để bỏ qua các lớp một cách linh hoạt
   • Lưu trước mọi câu có thể
   • Thay thế việc lấy mẫu bằng giải mã tham lam để tiết kiệm thời gian
2. Tại sao lấy mẫu suy đoán không làm giảm chất lượng đầu ra?
   • Vì mô hình dự thảo luôn đúng
   • Bởi vì quy tắc xác minh làm cho phân phối cuối cùng giống hệt với việc lấy mẫu mục tiêu thuần túy
   • Bởi vì nó chỉ hoạt động khi có những lời nhắc ngắn
   • Bởi vì nó tính trung bình kết quả đầu ra của hai mô hình
3. In exact speculative sampling, what happens when a drafted token is rejected?
   • It outputs the rejected draft token unchanged
   • It discards the entire conversation and restarts
   • The algorithm samples from a corrected residual distribution at that position
   • It permanently changes the target model
4. Under exact speculative sampling, what is guaranteed about the output distribution?
   • It is always deterministic
   • It matches the draft model’s distribution instead
   • It is more diverse than every target-model output
   • It matches the target model’s sampling distribution
5. What information does the target verification pass provide in exact speculative sampling?
   • Target probabilities for proposed positions, used for acceptance tests and residual resampling
   • A guarantee that no target-model computation is needed
   • Only the draft model’s next-token distribution
   • A corrected token sequence without any sampling
6. Which description correctly distinguishes two self-speculative approaches?
   • Both use only an unrelated small draft model
   • Medusa adds prediction heads, while EAGLE uses feature-space proposals
   • Medusa is a tokenizer and EAGLE is a reward model
   • Both remove the target model from decoding
7. The draft assigns probability 0.8 to a token and the target assigns 0.4. What is the speculative acceptance probability?
   • 0.2
   • 0.4
   • 0,5
   • 1.0
8. What most limits speculative sampling’s realized speedup?
   • The color of the model’s interface
   • The target model’s name length
   • Whether the prompt contains punctuation
   • The draft-model cost and how much proposed work the target accepts