แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการทำนายสตรีมมิ่งแบบเก็งกำไรและโทเค็นหลายรายการ

ตรวจสอบข้อเสนอฉบับร่าง การตรวจสอบเป้าหมาย คำนำหน้าที่ยอมรับ ส่วนหัวของโทเค็นหลายรายการ และเหตุใดอัตราการยอมรับจึงส่งผลต่อความเร็วในการถอดรหัส

คำถาม 1 ของ 8

เหตุใดการถอดรหัสอัตโนมัติแบบมาตรฐานจึงมักจะช้าบน GPU

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เหตุใดการถอดรหัสอัตโนมัติแบบมาตรฐานจึงมักจะช้าบน GPU
    • โทเค็นจะถูกสร้างขึ้นทีละรายการ โดยปล่อยให้ GPU ใช้งานน้อยไปในแต่ละขั้นตอน
    • GPU หน่วยความจำไม่เพียงพอทันที
    • จะต้องฝึกใหม่ในแต่ละโทเค็น
    • คำศัพท์ยังน้อยเกินไป
  2. 'ผู้ร่าง' ทำอะไรในการถอดรหัสแบบเก็งกำไร?
    • มันเขียนคำตอบสุดท้ายเพียงอย่างเดียว
    • มันเสนอโทเค็นในอนาคตของผู้สมัครหลายรายในราคาถูก
    • มันจะลบโทเค็นที่มีโอกาสต่ำ
    • มันบีบอัดน้ำหนักของโมเดล
  3. คุณภาพเอาต์พุตจะรักษาไว้อย่างไรในการถอดรหัสแบบเก็งกำไร
    • โดยการปัดเศษความน่าจะเป็นให้เป็นศูนย์
    • โดยใช้คำศัพท์ที่มากขึ้น
    • โดยการตรวจสอบที่ยอมรับเฉพาะโทเค็นที่ตรงกับการกระจายเป้าหมาย
    • โดยข้ามการตรวจสอบโดยสิ้นเชิง
  4. อะไรที่ทำให้การทำนายหลายโทเค็นสไตล์ Medusa แตกต่างจากการถอดรหัสเก็งกำไรแบบคลาสสิก
    • ต้องใช้รุ่นใหญ่สองรุ่นแยกกัน
    • ใช้งานได้เฉพาะกับการสร้างภาพเท่านั้น
    • มันลบความจำเป็นในการส่งต่อใด ๆ
    • โดยเพิ่มหัวทำนายที่มีน้ำหนักเบาเป็นพิเศษ เพื่อให้แบบจำลองหนึ่งตัวสามารถร่างและตรวจสอบได้
  5. เหตุใดหม้อแปลงไฟฟ้าจึงสามารถตรวจสอบตำแหน่งผู้สมัครหลายตำแหน่งได้เกือบถูกเกือบเท่ากับตำแหน่งเดียวในระหว่างการถอดรหัส
    • เนื่องจากการถอดรหัสถูกผูกไว้กับแบนด์วิธหน่วยความจำ ไม่ใช่ผูกกับการคำนวณ
    • เพราะมันแคชอินเทอร์เน็ตทั้งหมด
    • เพราะการตรวจสอบข้ามชั้นความสนใจ
    • เพราะความเร็วสัญญาณนาฬิกาของ GPU เพิ่มขึ้นเป็นสองเท่า
  6. อะไรเป็นตัวกำหนดการเร่งความเร็วจากวิธีการเก็งกำไรหรือหลายโทเค็นเป็นหลัก
    • สีของ GPU
    • จำนวนโทเค็นเฉลี่ยที่ยอมรับต่อขั้นตอน
    • ความยาวของชื่อรุ่น
    • ขนาดของดิสก์
  7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
    • A, B and C
    • B and C only
    • A, the matching prefix before the first mismatch
    • None, even if A matches
  8. Why can speculative decoding preserve the target model’s output distribution?
    • The drafter is guaranteed to be identical to the target
    • The target model is never run
    • All proposed tokens are accepted unconditionally
    • A verification and correction rule accepts or rejects draft tokens according to the target distribution