แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบความเท่าเทียมของโมเดลและไปป์ไลน์

อธิบายการแบ่งพาร์ติชันเทนเซอร์และไปป์ไลน์ การถ่ายโอนการเปิดใช้งาน กำหนดการไมโครแบทช์ ฟองอากาศไปป์ไลน์ และการแลกเปลี่ยนการสื่อสาร

เส้นทางแนะนำที่เกี่ยวข้องแบบจำลองและความเท่าเทียมของท่อ
คำถาม 1 ของ 8

ปัญหาพื้นฐานอะไรที่ทำให้โมเดลและความขนานของไปป์ไลน์แก้ปัญหาได้

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ปัญหาพื้นฐานอะไรที่ทำให้โมเดลและความขนานของไปป์ไลน์แก้ปัญหาได้
    • โมเดลมีขนาดใหญ่เกินกว่าจะใส่ในหน่วยความจำของ GPU ตัวเดียวได้
    • โหลดข้อมูลจากดิสก์ช้า
    • การไล่ระดับสีระเบิดระหว่างการฝึก
    • มีตัวอย่างการฝึกอบรมน้อยเกินไป
  2. การแบ่งความเท่าเทียมของเทนเซอร์ (ในเลเยอร์) ทำงานอย่างไร
    • มันกำหนดทั้งเลเยอร์ให้กับ GPU ที่แตกต่างกัน
    • โดยจะแยกคณิตศาสตร์ภายในเลเยอร์ เช่น การคูณเมทริกซ์ ทั่วทั้ง GPU
    • มันจำลองแต่ละเลเยอร์บน GPU ทุกตัว
    • โดยจะรันแต่ละเลเยอร์สองครั้งเพื่อความซ้ำซ้อน
  3. 'ฟองสบู่' ในความขนานของไปป์ไลน์ไร้เดียงสาคืออะไร?
    • หน่วยความจำรั่วที่เติบโตขึ้นตามกาลเวลา
    • สำเนาของสถานะเครื่องมือเพิ่มประสิทธิภาพที่ซ้ำกัน
    • เวลาว่างเมื่อ GPU ดาวน์สตรีมรอระยะอัปสตรีมเพื่อเปิดใช้งาน
    • การเพิ่มขึ้นอย่างรวดเร็วของค่าการไล่ระดับสี
  4. ความขนานของไปป์ไลน์ช่วยลดฟองสบู่ได้อย่างไร
    • โดยใช้อัตราการเรียนรู้ที่น้อยลง
    • โดยการลบเลเยอร์บางส่วนออกจากโมเดล
    • โดยการจัดเก็บการเปิดใช้งานบน CPU
    • โดยการแบ่งแต่ละชุดออกเป็นชุดย่อยที่ไหลผ่านขั้นตอนในลักษณะที่เซ
  5. เหตุใดความเท่าเทียมของเทนเซอร์จึงถูกเก็บไว้ภายในโหนดเดียว
    • เนื่องจากการลดผลลัพธ์บางส่วนทั้งหมดบ่อยครั้งจะได้รับประโยชน์จากลิงก์ภายในโหนดที่รวดเร็ว เช่น NVLink
    • เพราะมันไม่ต้องการการสื่อสารใดๆ
    • เนื่องจากโหนดไม่สามารถแชร์ข้อมูลได้เลย
    • เพราะมันรองรับ GPU ตัวเดียวเท่านั้น
  6. เฟรมเวิร์กใดที่รู้จักกันดีที่สุดในเรื่องความเท่าเทียมของเทนเซอร์ในการฝึกอบรมหม้อแปลงไฟฟ้า
    • scikit-เรียนรู้
    • NVIDIA เมกะทรอน-LM
    • OpenCV
    • หมีแพนด้า
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation