แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการทำนายสตรีมมิ่งแบบเก็งกำไรและโทเค็นหลายรายการ
ตรวจสอบข้อเสนอฉบับร่าง การตรวจสอบเป้าหมาย คำนำหน้าที่ยอมรับ ส่วนหัวของโทเค็นหลายรายการ และเหตุใดอัตราการยอมรับจึงส่งผลต่อความเร็วในการถอดรหัส
คำถาม 1 ของ 8
เหตุใดการถอดรหัสอัตโนมัติแบบมาตรฐานจึงมักจะช้าบน GPU
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เหตุใดการถอดรหัสอัตโนมัติแบบมาตรฐานจึงมักจะช้าบน GPU
- โทเค็นจะถูกสร้างขึ้นทีละรายการ โดยปล่อยให้ GPU ใช้งานน้อยไปในแต่ละขั้นตอน
- GPU หน่วยความจำไม่เพียงพอทันที
- จะต้องฝึกใหม่ในแต่ละโทเค็น
- คำศัพท์ยังน้อยเกินไป
- 'ผู้ร่าง' ทำอะไรในการถอดรหัสแบบเก็งกำไร?
- มันเขียนคำตอบสุดท้ายเพียงอย่างเดียว
- มันเสนอโทเค็นในอนาคตของผู้สมัครหลายรายในราคาถูก
- มันจะลบโทเค็นที่มีโอกาสต่ำ
- มันบีบอัดน้ำหนักของโมเดล
- คุณภาพเอาต์พุตจะรักษาไว้อย่างไรในการถอดรหัสแบบเก็งกำไร
- โดยการปัดเศษความน่าจะเป็นให้เป็นศูนย์
- โดยใช้คำศัพท์ที่มากขึ้น
- โดยการตรวจสอบที่ยอมรับเฉพาะโทเค็นที่ตรงกับการกระจายเป้าหมาย
- โดยข้ามการตรวจสอบโดยสิ้นเชิง
- อะไรที่ทำให้การทำนายหลายโทเค็นสไตล์ Medusa แตกต่างจากการถอดรหัสเก็งกำไรแบบคลาสสิก
- ต้องใช้รุ่นใหญ่สองรุ่นแยกกัน
- ใช้งานได้เฉพาะกับการสร้างภาพเท่านั้น
- มันลบความจำเป็นในการส่งต่อใด ๆ
- โดยเพิ่มหัวทำนายที่มีน้ำหนักเบาเป็นพิเศษ เพื่อให้แบบจำลองหนึ่งตัวสามารถร่างและตรวจสอบได้
- เหตุใดหม้อแปลงไฟฟ้าจึงสามารถตรวจสอบตำแหน่งผู้สมัครหลายตำแหน่งได้เกือบถูกเกือบเท่ากับตำแหน่งเดียวในระหว่างการถอดรหัส
- เนื่องจากการถอดรหัสถูกผูกไว้กับแบนด์วิธหน่วยความจำ ไม่ใช่ผูกกับการคำนวณ
- เพราะมันแคชอินเทอร์เน็ตทั้งหมด
- เพราะการตรวจสอบข้ามชั้นความสนใจ
- เพราะความเร็วสัญญาณนาฬิกาของ GPU เพิ่มขึ้นเป็นสองเท่า
- อะไรเป็นตัวกำหนดการเร่งความเร็วจากวิธีการเก็งกำไรหรือหลายโทเค็นเป็นหลัก
- สีของ GPU
- จำนวนโทเค็นเฉลี่ยที่ยอมรับต่อขั้นตอน
- ความยาวของชื่อรุ่น
- ขนาดของดิสก์
- A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
- A, B and C
- B and C only
- A, the matching prefix before the first mismatch
- None, even if A matches
- Why can speculative decoding preserve the target model’s output distribution?
- The drafter is guaranteed to be identical to the target
- The target model is never run
- All proposed tokens are accepted unconditionally
- A verification and correction rule accepts or rejects draft tokens according to the target distribution