Câu đố giải mã suy đoán

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Làm thế nào để giải mã suy đoán tăng tốc độ tạo ra một mô hình lớn?
   • Một mô hình dự thảo nhỏ đoán một số mã thông báo mà mô hình lớn xác minh song song
   • Nén mô hình xuống một nửa kích thước của nó vĩnh viễn
   • Loại bỏ cơ chế chú ý
   • Đào tạo mô hình trên nhiều dữ liệu hơn
2. For a large model at low batch size, why can one-token autoregressive decoding be slow?
   • Each token requires internet access
   • Repeated reads of large model weights can make decoding memory-bandwidth bound
   • The model permanently stores a full copy of every possible output
   • The tokenizer performs the model’s matrix multiplications
3. In greedy speculative decoding, what happens at the first token where draft and target predictions disagree?
   • The whole conversation is thrown away and restarted from scratch
   • Mô hình dự thảo được đào tạo lại ngay lập tức
   • The matching prefix is kept, the target token is used at the mismatch, and later draft tokens are discarded
   • Chất lượng đầu ra suy giảm vĩnh viễn
4. Under exact speculative sampling, how does the output distribution compare with sampling from the target model alone?
   • It is always lower quality but faster
   • It is identical only when the draft model is larger
   • It becomes deterministic regardless of target sampling
   • It is identical in distribution
5. Điều gì quyết định trực tiếp nhất đến việc tăng tốc độ giải mã suy đoán?
   • Tỷ lệ chấp nhận các dự đoán của mô hình dự thảo
   • Màu sắc của GPU
   • Độ dài của tên mô hình
   • Thời gian trong ngày
6. Medusa và EAGLE có điểm gì chung khi tiếp cận?
   • Họ yêu cầu phần cứng lượng tử
   • Chúng loại bỏ sự cần thiết của một mô hình dự thảo độc lập riêng biệt
   • Họ xóa mô hình mục tiêu
   • Chúng chỉ hoạt động trên hình ảnh
7. What should a serving team measure before claiming speculative decoding will speed up its workload?
   • Only the target model’s parameter count
   • Only whether the draft produces fluent text
   • Draft cost, target verification cost, accepted tokens and end-to-end latency under representative traffic
   • The number of tokenizer files
8. In exact speculative sampling, what happens when a proposed token is rejected?
   • The whole conversation is discarded
   • The target model is permanently changed
   • The rejected token is kept without verification
   • A correction step samples from the distribution needed to preserve the target model’s output distribution