แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการถอดรหัสหัวเมดูซ่า
ตรวจสอบหัวทำนายแบบหลายโทเค็นของ Medusa แผนผังผู้สมัคร การตรวจสอบความสนใจของต้นไม้ การยอมรับคำนำหน้าที่ยาวที่สุด และการเก็บรักษาการกระจาย
คำถาม 1 ของ 8
หัวเมดูซ่าที่เกินมาทำนายอะไรได้บ้าง?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- หัวเมดูซ่าที่เกินมาทำนายอะไรได้บ้าง?
- โทเค็นในอนาคตหลายรายการในตำแหน่งที่แตกต่างกันข้างหน้า
- การสูญเสียการฝึกของโมเดล
- GPU ตัวไหนที่จะใช้
- คำบรรยายภาพสำหรับโทเค็น
- Under which Medusa configuration does the paper describe lossless inference acceleration?
- มันบีบอัดน้ำหนักของโมเดลได้อย่างสมบูรณ์แบบ
- Medusa-1 with a frozen backbone and exact verification against the original model
- มันไม่เคยทำผิดไวยากรณ์
- มันขจัดความจำเป็นในการใช้คำศัพท์
- โครงสร้างผู้สมัครรับเลือกตั้งของ Medusa ต่อไปจะถูกจัดเป็นโครงสร้างใดเพื่อตรวจสอบ?
- รายการแบนให้คะแนนทีละรายการ
- ตารางแฮช
- ต้นไม้ทำคะแนนได้ในการส่งผ่านครั้งเดียวพร้อมกับมาสก์เตือนต้นไม้
- การวนซ้ำที่เกิดซ้ำในแต่ละโทเค็น
- อะไรคือข้อได้เปรียบที่สำคัญของ Medusa เหนือการถอดรหัสแบบเก็งกำไรแบบร่าง?
- ต้องใช้รุ่นใหญ่สองรุ่นแยกกัน
- มันใช้งานได้กับภาพเท่านั้น
- มันจะลบโมเดลพื้นฐานหลังการใช้งาน
- หลีกเลี่ยงการใช้โมเดลร่างแยกต่างหากโดยการเพิ่มส่วนหัวให้กับโมเดลที่มีอยู่
- โดยทั่วไปแล้ว Medusa จะรายงานการเร่งความเร็วประมาณเท่าใด
- ประมาณ 2-3x
- ประมาณ 0.5 เท่า (ช้ากว่า)
- 100x พอดี
- ไม่มีการเปลี่ยนแปลงที่วัดผลได้
- หัวเมดูซ่าแต่ละอันมีลักษณะทางสถาปัตยกรรมอย่างไร?
- หม้อแปลงซ้ำเต็ม
- ชั้นฟีดฟอร์เวิร์ดที่เหลือ (MLP) ขนาดเล็กที่ด้านบนของสถานะที่ซ่อนอยู่ของฐาน
- ตัวเข้ารหัสภาพแบบหมุนวน
- โทเค็นไนเซอร์แยกต่างหาก
- What does Medusa accept from a verified candidate tree?
- Every speculative branch regardless of verification
- Only the shortest candidate token
- The longest prefix consistent with the base model’s decoding result
- A random leaf from the tree
- How do Medusa’s prediction-head offsets differ?
- Every head predicts the same next token
- Each head predicts a different vocabulary
- The heads predict tokens only after decoding is complete
- Each head predicts a token at a different position ahead in the sequence