แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการกรอกข้อมูลล่วงหน้าและการถอดรหัสแบบแยกส่วน

ตรวจสอบการกรอกข้อมูลล่วงหน้าและถอดรหัสคอขวด การถ่ายโอนแคช KV การรบกวนเฟส การปรับแต่งทรัพยากร และระบบการให้บริการแบบแยกส่วน

คำถาม 1 ของ 8

อะไรคือเหตุผลด้านฮาร์ดแวร์หลักในการแยกการกรอกข้อมูลล่วงหน้าและถอดรหัสไปยังกลุ่ม GPU ต่างๆ

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. อะไรคือเหตุผลด้านฮาร์ดแวร์หลักในการแยกการกรอกข้อมูลล่วงหน้าและถอดรหัสไปยังกลุ่ม GPU ต่างๆ
    • การกรอกข้อมูลล่วงหน้าถูกผูกไว้กับการคำนวณ ในขณะที่การถอดรหัสถูกผูกไว้กับแบนด์วิธหน่วยความจำ
    • พวกเขาใช้ภาษาการเขียนโปรแกรมที่แตกต่างกัน
    • การถอดรหัสต้องใช้ไฟฟ้ามากกว่าการเติมล่วงหน้า
    • การเติมล่วงหน้าไม่สามารถทำงานบน GPU ได้เลย
  2. โครงสร้างข้อมูลใดที่ต้องถ่ายโอนจากผู้ปฏิบัติงานที่กรอกข้อมูลล่วงหน้าเพื่อถอดรหัสผู้ปฏิบัติงาน
    • น้ำหนักของโมเดล
    • แคช KV (คีย์-ค่า)
    • คำศัพท์โทเค็น
    • สถานะของเครื่องมือเพิ่มประสิทธิภาพ
  3. ปัญหาใดที่การแยกย่อยลดลงโดยเฉพาะในการตั้งค่า GPU ที่ใช้ร่วมกัน
    • ไดรเวอร์ GPU ขัดข้อง
    • การสูญเสียแพ็กเก็ตเครือข่ายบนอินเทอร์เน็ต
    • การบล็อกส่วนหัวของบรรทัดที่การกรอกข้อมูลล่วงหน้าแบบยาวขัดขวางการถอดรหัสของผู้อื่น
    • ภาพหลอนแบบจำลอง
  4. เหตุใดการเติมล่วงหน้าจึงสามารถแบทช์อย่างจริงจัง แต่ถอดรหัสประโยชน์จากการปรับแต่งที่ต่างกัน
    • การถอดรหัสไม่เคยใช้ GPU
    • การเติมล่วงหน้าจะทำงานเพียงวันละครั้งเท่านั้น
    • ไม่สามารถผสมเป็นชุดได้ในระหว่างการเติมล่วงหน้า
    • โทเค็นที่กรอกล่วงหน้าจะถูกอ่านแบบขนาน ช่วยเพิ่มการใช้งานการประมวลผลต่อรอบให้สูงสุด
  5. โดยทั่วไปการเชื่อมต่อระหว่างกันใดที่ใช้ในการย้ายแคช KV ระหว่างพูลที่แยกส่วน
    • NVLink หรือ InfiniBand
    • โมเด็มแบบเรียกผ่านสายโทรศัพท์
    • สาย USB 2.0
    • บลูทูธ
  6. ระบบที่มีชื่อใดที่เกี่ยวข้องกับการแสดงการกรอกล่วงหน้า/ถอดรหัสแบบแยกส่วน
    • TCP, UDP และ HTTP
    • DistServe, Splitwise และขนมไหว้พระจันทร์
    • Word, Excel และ PowerPoint
    • JPEG, PNG และ GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck