Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Giải mã suy đoán với EAGLE Quiz

Kiểm tra việc soạn thảo tính năng EAGLE, xác minh mục tiêu, bảo toàn phân phối, nhúng phản hồi, cây dự thảo động và chi phí giải mã.

Đường dẫn hướng dẫn liên quanGiải mã suy đoán với đại bàng
Câu hỏi 1 của 8

Ý tưởng cốt lõi đằng sau việc giải mã suy đoán là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Ý tưởng cốt lõi đằng sau việc giải mã suy đoán là gì?
    • Một người soạn thảo giá rẻ đề xuất nhiều mã thông báo mà mô hình lớn xác minh trong một lần chuyển song song
    • Nén trọng lượng của mô hình đến độ chính xác một nửa
    • Bỏ qua các lớp mạng một cách ngẫu nhiên
    • Lưu trữ trước mọi câu đầu ra có thể
  2. EAGLE khác với các phương pháp giải mã suy đoán trước đây như thế nào?
    • Nó loại bỏ hoàn toàn bước xác minh
    • Nó phác thảo trong không gian tính năng ẩn của mô hình thay vì trực tiếp ở cấp mã thông báo
    • Nó sử dụng một mô hình lớn hơn, hoàn toàn riêng biệt làm công cụ soạn thảo
    • Nó chỉ hoạt động để tạo hình ảnh
  3. Why is speculative decoding considered lossless when implemented with exact verification?
    • Every draft token is accepted unconditionally
    • The drafter always predicts the target’s next token
    • The acceptance and correction procedure preserves the target model’s output distribution
    • The target model is never evaluated
  4. Vấn đề gì trong quá trình soạn thảo tính năng của EAGLE có giúp giải quyết việc phản hồi lại quá trình nhúng của mã thông báo trước đó không?
    • Phân mảnh bộ nhớ trên GPU
    • Mã thông báo không khớp giữa các ngôn ngữ
    • Phần cứng quá nóng
    • Sự không chắc chắn/mơ hồ của việc dự đoán tính năng tiếp theo
  5. EAGLE-2 đã thêm gì vào EAGLE ban đầu?
    • Cây dự thảo động điều chỉnh số lượng ứng viên đề xuất
    • Bản nháp một mã thông báo cố định
    • Tháo đầu LM
    • Chỉ đào tạo trên dữ liệu gấp đôi
  6. Tại sao nút thắt cổ chai tự hồi quy làm cho quá trình tạo LLM đơn giản bị chậm?
    • Mô hình tự đào tạo lại sau mỗi mã thông báo
    • Mỗi mã thông báo mới cần chuyển tiếp đầy đủ qua hàng tỷ tham số trước khi mã tiếp theo có thể bắt đầu
    • Mã thông báo được lưu trữ trên đĩa giữa các bước
    • GPU phải khởi động lại mỗi mã thông báo
  7. After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
    • The tokenizer’s vocabulary file alone
    • The optimizer’s momentum buffer
    • The target model’s language-model head
    • The KV-cache allocator
  8. What change does EAGLE-3 make to the original feature-drafting constraint?
    • It replaces the target model with a tokenizer
    • It disables target verification
    • It requires a separate human drafter
    • It removes a feature-prediction constraint to improve scaling