Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra dự đoán phát trực tuyến và nhiều mã thông báo

Kiểm tra các đề xuất dự thảo, xác minh mục tiêu, tiền tố được chấp nhận, đầu nhiều mã thông báo và lý do tỷ lệ chấp nhận ảnh hưởng đến tốc độ giải mã.

Đường dẫn hướng dẫn liên quanTruyền phát đầu cơ và dự đoán nhiều mã thông báo
Câu hỏi 1 của 8

Tại sao quá trình giải mã tự hồi quy tiêu chuẩn thường bị chậm trên GPU?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Tại sao quá trình giải mã tự hồi quy tiêu chuẩn thường bị chậm trên GPU?
    • Các mã thông báo được tạo ra cùng một lúc, khiến GPU không được sử dụng theo từng bước
    • GPU hết bộ nhớ ngay lập tức
    • Nó phải đào tạo lại từng mã thông báo
    • Vốn từ vựng quá ít
  2. 'Người soạn thảo' làm gì trong việc giải mã suy đoán?
    • Nó viết câu trả lời cuối cùng một mình
    • Nó đề xuất một số mã thông báo ứng cử viên trong tương lai với giá rẻ
    • Nó xóa các mã thông báo có xác suất thấp
    • Nó nén trọng lượng mô hình
  3. Chất lượng đầu ra được bảo toàn như thế nào trong giải mã suy đoán?
    • Bằng cách làm tròn xác suất về 0
    • Bằng cách sử dụng vốn từ vựng lớn hơn
    • Bằng cách xác minh chỉ chấp nhận mã thông báo phù hợp với phân phối mục tiêu
    • Bằng cách bỏ qua hoàn toàn việc xác minh
  4. Điều gì phân biệt dự đoán đa mã thông báo kiểu Medusa với giải mã đầu cơ cổ điển?
    • Nó đòi hỏi hai mô hình lớn riêng biệt
    • Nó chỉ hoạt động để tạo hình ảnh
    • Nó loại bỏ sự cần thiết của bất kỳ chuyển tiếp nào
    • Nó bổ sung thêm các đầu dự đoán trọng lượng nhẹ để một mô hình có thể phác thảo và xác minh
  5. Tại sao một máy biến áp có thể xác minh nhiều vị trí ứng cử viên với chi phí gần bằng một vị trí trong quá trình giải mã?
    • Bởi vì giải mã bị giới hạn băng thông bộ nhớ, không bị giới hạn tính toán
    • Bởi vì nó lưu trữ toàn bộ internet
    • Bởi vì việc xác minh bỏ qua các lớp chú ý
    • Vì tốc độ xung nhịp GPU tăng gấp đôi
  6. Điều gì chủ yếu quyết định tốc độ tăng tốc từ các phương pháp đầu cơ hoặc nhiều mã thông báo?
    • Màu sắc của GPU
    • Số lượng mã thông báo trung bình được chấp nhận mỗi bước
    • Độ dài của tên mô hình
    • Kích thước của đĩa
  7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
    • A, B and C
    • B and C only
    • A, the matching prefix before the first mismatch
    • None, even if A matches
  8. Why can speculative decoding preserve the target model’s output distribution?
    • The drafter is guaranteed to be identical to the target
    • The target model is never run
    • All proposed tokens are accepted unconditionally
    • A verification and correction rule accepts or rejects draft tokens according to the target distribution