Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra mô hình dự thảo giải mã suy đoán

Khám phá các đề xuất mô hình dự thảo, xác minh mục tiêu, lấy mẫu từ chối, xác suất chấp nhận, mã thông báo thưởng và tốc độ giải mã phụ thuộc vào khối lượng công việc.

Đường dẫn hướng dẫn liên quanMô hình dự thảo giải mã suy đoán
Câu hỏi 1 của 8

Vai trò chính của mô hình 'bản nháp' trong việc giải mã suy đoán là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Vai trò chính của mô hình 'bản nháp' trong việc giải mã suy đoán là gì?
    • Để nén mô hình lớn thành ít tham số hơn vĩnh viễn
    • Để dịch lời nhắc sang một ngôn ngữ khác
    • Để nhanh chóng đề xuất một số mã thông báo ứng cử viên cho mô hình lớn để xác minh
    • Để lưu trữ các cuộc trò chuyện trong quá khứ để truy xuất
  2. Why can verifying a drafted token block accelerate target-model generation in a suitable workload?
    • Verification has no compute cost at any block size
    • A verification pass can process several positions together and amortize target work across accepted tokens
    • The draft model is guaranteed more accurate than the target
    • The target model is skipped for every accepted token
  3. Điều gì xảy ra với mã thông báo được soạn thảo sau mã thông báo đầu tiên mà mô hình mục tiêu từ chối?
    • Mọi thứ sau lần không khớp đầu tiên sẽ bị loại bỏ
    • Dù sao thì tất cả họ đều được chấp nhận
    • Họ được gửi đến mô hình thứ ba
    • Chúng được lưu trữ và sử dụng lại ở lượt tiếp theo
  4. What correctness property does the standard exact speculative-sampling rejection procedure preserve under its assumptions?
    • An identical random sequence for every possible random seed
    • Guaranteed truth of every generated statement
    • The draft model's distribution regardless of the target
    • The target model's configured sampling distribution
  5. Which mechanism distinguishes EAGLE's drafting approach from Medusa's additional decoding heads?
    • EAGLE performs only word-count-based lexical retrieval
    • EAGLE drafts autoregressively at the target model's feature level
    • EAGLE removes target verification from every algorithm
    • EAGLE and Medusa are the same architecture with different names
  6. Why should a speculative-decoding benchmark report the draft-target pair and acceptance rate?
    • Every model pair has the same guaranteed speedup
    • Acceptance rate measures whether generated facts are true
    • Speedup depends on drafting and verification costs and how many proposed tokens are accepted
    • The target model's hardware and context length cannot affect performance
  7. In exact speculative sampling, a proposed token has q equal to 0.2 and p equal to 0.1. What is its acceptance probability?
    • 0.1, because only p is used
    • 0.2, because only q is used
    • 1.0, because every proposed token is accepted
    • 0.5, from min(1, p/q)
  8. What can the standard speculative-sampling algorithm emit when every token in a drafted block is accepted?
    • The accepted block plus an additional token sampled from the target
    • Only the last drafted token, discarding the accepted prefix
    • An arbitrary extra draft token without target sampling
    • No output until the draft model is retrained