แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบสแต็คการฝึกอบรม DeepSpeed และ Megatron

ตรวจสอบขั้นตอนการแบ่งส่วน ZeRO, เทนเซอร์และความขนานของไปป์ไลน์, การเปิดใช้งานจุดตรวจสอบ, การขนถ่ายและการฝึกอบรมแบบขนาน 3 มิติแบบรวม

เส้นทางแนะนำที่เกี่ยวข้องกองการฝึกอบรม Deepspeed และ Megatron
คำถาม 1 ของ 8

จุดประสงค์หลักของเครื่องมือเพิ่มประสิทธิภาพ ZeRO ของ DeepSpeed ​​คืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. จุดประสงค์หลักของเครื่องมือเพิ่มประสิทธิภาพ ZeRO ของ DeepSpeed ​​คืออะไร
    • เพื่อแบ่งสถานะเครื่องมือเพิ่มประสิทธิภาพ การไล่ระดับสี และพารามิเตอร์ทั่วทั้ง GPU เพื่อประหยัดหน่วยความจำ
    • เพื่อบีบอัดโมเดลสุดท้ายสำหรับการปรับใช้
    • เพื่อแปลโมเดลระหว่างเฟรมเวิร์ก
    • เพื่อติดป้ายกำกับข้อมูลการฝึกอบรมโดยอัตโนมัติ
  2. ความเท่าเทียมของเทนเซอร์ซึ่งบุกเบิกใน Megatron-LM แยกแบบจำลองอย่างไร
    • ด้วยการใส่เลเยอร์ที่แตกต่างกันบน GPU ที่แตกต่างกัน
    • โดยการแบ่งการคูณเมทริกซ์แต่ละรายการภายในเลเยอร์ทั่วทั้ง GPU
    • ด้วยการให้ข้อมูลชุดที่แตกต่างกันแก่ GPU แต่ละตัว
    • โดยการจัดเก็บขั้นตอนเวลาที่แตกต่างกันบน GPU ที่แตกต่างกัน
  3. ความขนานของไปป์ไลน์แตกต่างจากความขนานของเทนเซอร์เพราะมันแยกโมเดลโดย:
    • การแบ่งเมทริกซ์ภายในแต่ละชั้น
    • ทำซ้ำโมเดลทั้งหมดบน GPU ทุกตัว
    • การกำหนดเลเยอร์ต่างๆ (ระยะ) ให้กับ GPU ที่แตกต่างกัน
    • การหาปริมาณตุ้มน้ำหนักให้มีความแม่นยำต่ำลง
  4. สเตจ ZeRO ใดที่ประหยัดหน่วยความจำได้มากที่สุดโดยการแบ่งพารามิเตอร์โมเดลด้วยตัวเองด้วย
    • ขั้นที่ 1
    • ขั้นที่ 2
    • ด่าน 0
    • ด่าน 3
  5. 'จุดตรวจสอบการเปิดใช้งาน' แลกเปลี่ยนอะไรเพื่อบันทึกหน่วยความจำระหว่างการฝึก?
    • คำนวณเพิ่มเติมโดยคำนวณการเปิดใช้งานใหม่ระหว่างการย้อนกลับ
    • ความแม่นยำของแบบจำลอง
    • แบนด์วิธเครือข่าย
    • จำนวนชั้น
  6. เหตุใดการรวมเทคนิคเหล่านี้จึงมักเรียกว่า 'ความเท่าเทียม 3 มิติ'
    • ใช้งานได้กับการ์ดกราฟิก 3D เท่านั้น
    • โดยจะรวมข้อมูล เทนเซอร์ และความขนานของไปป์ไลน์เข้าด้วยกันในสามแกน
    • ใช้ GPU สูงสุดสามตัว
    • มันเรนเดอร์โมเดลในสามมิติ
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • ด่าน 0
    • ขั้นที่ 2
    • ขั้นที่ 1
    • ด่าน 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget