แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบสแต็คการฝึกอบรม DeepSpeed และ Megatron
ตรวจสอบขั้นตอนการแบ่งส่วน ZeRO, เทนเซอร์และความขนานของไปป์ไลน์, การเปิดใช้งานจุดตรวจสอบ, การขนถ่ายและการฝึกอบรมแบบขนาน 3 มิติแบบรวม
คำถาม 1 ของ 8
จุดประสงค์หลักของเครื่องมือเพิ่มประสิทธิภาพ ZeRO ของ DeepSpeed คืออะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- จุดประสงค์หลักของเครื่องมือเพิ่มประสิทธิภาพ ZeRO ของ DeepSpeed คืออะไร
- เพื่อแบ่งสถานะเครื่องมือเพิ่มประสิทธิภาพ การไล่ระดับสี และพารามิเตอร์ทั่วทั้ง GPU เพื่อประหยัดหน่วยความจำ
- เพื่อบีบอัดโมเดลสุดท้ายสำหรับการปรับใช้
- เพื่อแปลโมเดลระหว่างเฟรมเวิร์ก
- เพื่อติดป้ายกำกับข้อมูลการฝึกอบรมโดยอัตโนมัติ
- ความเท่าเทียมของเทนเซอร์ซึ่งบุกเบิกใน Megatron-LM แยกแบบจำลองอย่างไร
- ด้วยการใส่เลเยอร์ที่แตกต่างกันบน GPU ที่แตกต่างกัน
- โดยการแบ่งการคูณเมทริกซ์แต่ละรายการภายในเลเยอร์ทั่วทั้ง GPU
- ด้วยการให้ข้อมูลชุดที่แตกต่างกันแก่ GPU แต่ละตัว
- โดยการจัดเก็บขั้นตอนเวลาที่แตกต่างกันบน GPU ที่แตกต่างกัน
- ความขนานของไปป์ไลน์แตกต่างจากความขนานของเทนเซอร์เพราะมันแยกโมเดลโดย:
- การแบ่งเมทริกซ์ภายในแต่ละชั้น
- ทำซ้ำโมเดลทั้งหมดบน GPU ทุกตัว
- การกำหนดเลเยอร์ต่างๆ (ระยะ) ให้กับ GPU ที่แตกต่างกัน
- การหาปริมาณตุ้มน้ำหนักให้มีความแม่นยำต่ำลง
- สเตจ ZeRO ใดที่ประหยัดหน่วยความจำได้มากที่สุดโดยการแบ่งพารามิเตอร์โมเดลด้วยตัวเองด้วย
- ขั้นที่ 1
- ขั้นที่ 2
- ด่าน 0
- ด่าน 3
- 'จุดตรวจสอบการเปิดใช้งาน' แลกเปลี่ยนอะไรเพื่อบันทึกหน่วยความจำระหว่างการฝึก?
- คำนวณเพิ่มเติมโดยคำนวณการเปิดใช้งานใหม่ระหว่างการย้อนกลับ
- ความแม่นยำของแบบจำลอง
- แบนด์วิธเครือข่าย
- จำนวนชั้น
- เหตุใดการรวมเทคนิคเหล่านี้จึงมักเรียกว่า 'ความเท่าเทียม 3 มิติ'
- ใช้งานได้กับการ์ดกราฟิก 3D เท่านั้น
- โดยจะรวมข้อมูล เทนเซอร์ และความขนานของไปป์ไลน์เข้าด้วยกันในสามแกน
- ใช้ GPU สูงสุดสามตัว
- มันเรนเดอร์โมเดลในสามมิติ
- Which ZeRO stage first shards optimizer state across data-parallel workers?
- ด่าน 0
- ขั้นที่ 2
- ขั้นที่ 1
- ด่าน 3
- What does CPU or NVMe offloading do in large-model training stacks?
- Copies the full model to every GPU
- Removes all inter-GPU communication
- Changes tensor parallelism into reinforcement learning
- Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget