Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu đố về đầu giải mã Medusa

Xem lại các đầu dự đoán nhiều mã thông báo của Medusa, cây ứng cử viên, xác minh sự chú ý của cây, chấp nhận tiền tố dài nhất và bảo toàn phân phối.

Đường dẫn hướng dẫn liên quanĐầu giải mã Medusa
Câu hỏi 1 của 8

Những cái đầu Medusa bổ sung dự đoán điều gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Những cái đầu Medusa bổ sung dự đoán điều gì?
    • Nhiều mã thông báo trong tương lai ở các vị trí khác nhau phía trước
    • Mất đào tạo của mô hình
    • Nên sử dụng GPU nào
    • Chú thích hình ảnh cho mã thông báo
  2. Under which Medusa configuration does the paper describe lossless inference acceleration?
    • Nó nén trọng lượng mô hình một cách hoàn hảo
    • Medusa-1 with a frozen backbone and exact verification against the original model
    • Nó không bao giờ mắc lỗi ngữ pháp
    • Nó loại bỏ sự cần thiết của một từ vựng
  3. Những phần tiếp theo của ứng cử viên Medusa được sắp xếp theo cấu trúc nào để xác minh?
    • Một danh sách phẳng được tính điểm từng cái một
    • Một bảng băm
    • Một cái cây đã ghi điểm trong một lần chuyền với mặt nạ chú ý đến cây
    • Vòng lặp lặp lại trên mỗi mã thông báo
  4. Ưu điểm chính của Medusa so với giải mã suy đoán theo mô hình dự thảo là gì?
    • Nó đòi hỏi hai mô hình lớn riêng biệt
    • Nó chỉ hoạt động trên hình ảnh
    • Nó xóa mô hình cơ sở sau khi sử dụng
    • Nó tránh cần phải có một mô hình dự thảo riêng biệt bằng cách thêm các đầu vào mô hình hiện có
  5. Medusa thường báo cáo mức tăng tốc nào?
    • Khoảng 2-3x
    • Khoảng 0,5x (chậm hơn)
    • Chính xác là 100x
    • Không có sự thay đổi có thể đo lường được
  6. Mỗi đầu Medusa riêng lẻ là gì, về mặt kiến trúc?
    • Một máy biến áp trùng lặp đầy đủ
    • Một lớp chuyển tiếp nguồn cấp dữ liệu còn lại (MLP) nhỏ ở trên cùng của trạng thái ẩn cơ sở
    • Bộ mã hóa hình ảnh tích chập
    • Một mã thông báo riêng biệt
  7. What does Medusa accept from a verified candidate tree?
    • Every speculative branch regardless of verification
    • Only the shortest candidate token
    • The longest prefix consistent with the base model’s decoding result
    • A random leaf from the tree
  8. How do Medusa’s prediction-head offsets differ?
    • Every head predicts the same next token
    • Each head predicts a different vocabulary
    • The heads predict tokens only after decoding is complete
    • Each head predicts a token at a different position ahead in the sequence