แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการกรอกข้อมูลล่วงหน้าและการถอดรหัสแบบแยกส่วน
ตรวจสอบการกรอกข้อมูลล่วงหน้าและถอดรหัสคอขวด การถ่ายโอนแคช KV การรบกวนเฟส การปรับแต่งทรัพยากร และระบบการให้บริการแบบแยกส่วน
คำถาม 1 ของ 8
อะไรคือเหตุผลด้านฮาร์ดแวร์หลักในการแยกการกรอกข้อมูลล่วงหน้าและถอดรหัสไปยังกลุ่ม GPU ต่างๆ
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- อะไรคือเหตุผลด้านฮาร์ดแวร์หลักในการแยกการกรอกข้อมูลล่วงหน้าและถอดรหัสไปยังกลุ่ม GPU ต่างๆ
- การกรอกข้อมูลล่วงหน้าถูกผูกไว้กับการคำนวณ ในขณะที่การถอดรหัสถูกผูกไว้กับแบนด์วิธหน่วยความจำ
- พวกเขาใช้ภาษาการเขียนโปรแกรมที่แตกต่างกัน
- การถอดรหัสต้องใช้ไฟฟ้ามากกว่าการเติมล่วงหน้า
- การเติมล่วงหน้าไม่สามารถทำงานบน GPU ได้เลย
- โครงสร้างข้อมูลใดที่ต้องถ่ายโอนจากผู้ปฏิบัติงานที่กรอกข้อมูลล่วงหน้าเพื่อถอดรหัสผู้ปฏิบัติงาน
- น้ำหนักของโมเดล
- แคช KV (คีย์-ค่า)
- คำศัพท์โทเค็น
- สถานะของเครื่องมือเพิ่มประสิทธิภาพ
- ปัญหาใดที่การแยกย่อยลดลงโดยเฉพาะในการตั้งค่า GPU ที่ใช้ร่วมกัน
- ไดรเวอร์ GPU ขัดข้อง
- การสูญเสียแพ็กเก็ตเครือข่ายบนอินเทอร์เน็ต
- การบล็อกส่วนหัวของบรรทัดที่การกรอกข้อมูลล่วงหน้าแบบยาวขัดขวางการถอดรหัสของผู้อื่น
- ภาพหลอนแบบจำลอง
- เหตุใดการเติมล่วงหน้าจึงสามารถแบทช์อย่างจริงจัง แต่ถอดรหัสประโยชน์จากการปรับแต่งที่ต่างกัน
- การถอดรหัสไม่เคยใช้ GPU
- การเติมล่วงหน้าจะทำงานเพียงวันละครั้งเท่านั้น
- ไม่สามารถผสมเป็นชุดได้ในระหว่างการเติมล่วงหน้า
- โทเค็นที่กรอกล่วงหน้าจะถูกอ่านแบบขนาน ช่วยเพิ่มการใช้งานการประมวลผลต่อรอบให้สูงสุด
- โดยทั่วไปการเชื่อมต่อระหว่างกันใดที่ใช้ในการย้ายแคช KV ระหว่างพูลที่แยกส่วน
- NVLink หรือ InfiniBand
- โมเด็มแบบเรียกผ่านสายโทรศัพท์
- สาย USB 2.0
- บลูทูธ
- ระบบที่มีชื่อใดที่เกี่ยวข้องกับการแสดงการกรอกล่วงหน้า/ถอดรหัสแบบแยกส่วน
- TCP, UDP และ HTTP
- DistServe, Splitwise และขนมไหว้พระจันทร์
- Word, Excel และ PowerPoint
- JPEG, PNG และ GIF
- Why must the KV cache produced during prefill be available to the decode workers?
- It contains the model’s optimizer state
- It stores the user’s GPU allocation
- Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
- It is needed only to calculate validation accuracy
- What is a resource-allocation benefit of separating prefill and decode pools?
- Both phases must use identical batch sizes
- The model no longer needs a KV cache
- The scheduler can eliminate all network communication
- Each phase can be sized and parallelized for its own compute or memory bottleneck