แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการถอดรหัสหัวเมดูซ่า

ตรวจสอบหัวทำนายแบบหลายโทเค็นของ Medusa แผนผังผู้สมัคร การตรวจสอบความสนใจของต้นไม้ การยอมรับคำนำหน้าที่ยาวที่สุด และการเก็บรักษาการกระจาย

เส้นทางแนะนำที่เกี่ยวข้องหัวถอดรหัสเมดูซ่า
คำถาม 1 ของ 8

หัวเมดูซ่าที่เกินมาทำนายอะไรได้บ้าง?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. หัวเมดูซ่าที่เกินมาทำนายอะไรได้บ้าง?
    • โทเค็นในอนาคตหลายรายการในตำแหน่งที่แตกต่างกันข้างหน้า
    • การสูญเสียการฝึกของโมเดล
    • GPU ตัวไหนที่จะใช้
    • คำบรรยายภาพสำหรับโทเค็น
  2. Under which Medusa configuration does the paper describe lossless inference acceleration?
    • มันบีบอัดน้ำหนักของโมเดลได้อย่างสมบูรณ์แบบ
    • Medusa-1 with a frozen backbone and exact verification against the original model
    • มันไม่เคยทำผิดไวยากรณ์
    • มันขจัดความจำเป็นในการใช้คำศัพท์
  3. โครงสร้างผู้สมัครรับเลือกตั้งของ Medusa ต่อไปจะถูกจัดเป็นโครงสร้างใดเพื่อตรวจสอบ?
    • รายการแบนให้คะแนนทีละรายการ
    • ตารางแฮช
    • ต้นไม้ทำคะแนนได้ในการส่งผ่านครั้งเดียวพร้อมกับมาสก์เตือนต้นไม้
    • การวนซ้ำที่เกิดซ้ำในแต่ละโทเค็น
  4. อะไรคือข้อได้เปรียบที่สำคัญของ Medusa เหนือการถอดรหัสแบบเก็งกำไรแบบร่าง?
    • ต้องใช้รุ่นใหญ่สองรุ่นแยกกัน
    • มันใช้งานได้กับภาพเท่านั้น
    • มันจะลบโมเดลพื้นฐานหลังการใช้งาน
    • หลีกเลี่ยงการใช้โมเดลร่างแยกต่างหากโดยการเพิ่มส่วนหัวให้กับโมเดลที่มีอยู่
  5. โดยทั่วไปแล้ว Medusa จะรายงานการเร่งความเร็วประมาณเท่าใด
    • ประมาณ 2-3x
    • ประมาณ 0.5 เท่า (ช้ากว่า)
    • 100x พอดี
    • ไม่มีการเปลี่ยนแปลงที่วัดผลได้
  6. หัวเมดูซ่าแต่ละอันมีลักษณะทางสถาปัตยกรรมอย่างไร?
    • หม้อแปลงซ้ำเต็ม
    • ชั้นฟีดฟอร์เวิร์ดที่เหลือ (MLP) ขนาดเล็กที่ด้านบนของสถานะที่ซ่อนอยู่ของฐาน
    • ตัวเข้ารหัสภาพแบบหมุนวน
    • โทเค็นไนเซอร์แยกต่างหาก
  7. What does Medusa accept from a verified candidate tree?
    • Every speculative branch regardless of verification
    • Only the shortest candidate token
    • The longest prefix consistent with the base model’s decoding result
    • A random leaf from the tree
  8. How do Medusa’s prediction-head offsets differ?
    • Every head predicts the same next token
    • Each head predicts a different vocabulary
    • The heads predict tokens only after decoding is complete
    • Each head predicts a token at a different position ahead in the sequence