แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบ ZeRO และเครื่องมือเพิ่มประสิทธิภาพ Sharded

ครอบคลุมระยะ ZeRO, หน่วยความจำสถานะ Adam, การรวบรวมพารามิเตอร์, การลดการไล่ระดับสี, ตัวเลือกออฟโหลด และต้นทุนการสื่อสาร

เส้นทางแนะนำที่เกี่ยวข้องเครื่องมือเพิ่มประสิทธิภาพ Zero และ Sharded
คำถาม 1 ของ 8

ZeRO กำจัดความซ้ำซ้อนอะไรบ้างเมื่อเปรียบเทียบกับความเท่าเทียมของข้อมูลธรรมดา

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ZeRO กำจัดความซ้ำซ้อนอะไรบ้างเมื่อเปรียบเทียบกับความเท่าเทียมของข้อมูลธรรมดา
    • ทำสำเนาสถานะของเครื่องมือเพิ่มประสิทธิภาพ การไล่ระดับสี และพารามิเตอร์ทั้งหมดบน GPU ทุกตัว
    • ทำซ้ำสำเนาข้อมูลการฝึกบน GPU แต่ละตัว
    • สายเคเบิลเครือข่ายซ้ำซ้อนระหว่างโหนด
    • การส่งต่อซ้ำๆ จะส่งผ่านไปยังชุดเดียวกัน
  2. เหตุใดสถานะเครื่องมือเพิ่มประสิทธิภาพจึงมักเป็นหน่วยความจำที่ใหญ่ที่สุดของอดัม
    • อดัมไม่ได้เก็บสถานะพิเศษไว้เลย
    • อดัมเก็บค่าต่อพารามิเตอร์เพิ่มเติม (เช่น โมเมนตัมและความแปรปรวน) ซึ่งมักจะใหญ่กว่าขนาดโมเดลหลายเท่า
    • อดัมทำซ้ำชุดข้อมูลทั้งหมด
    • อดัมต้องการเก็บทุกการไล่ระดับสีในอดีตไว้ตลอดไป
  3. ชิ้นส่วน ZeRO Stage 3 มีอะไรบ้างที่ Stage 1 และ 2 ไม่มี?
    • ข้อมูลการฝึกอบรม
    • ฟังก์ชันการสูญเสีย
    • โมเดลพารามิเตอร์เอง
    • ตารางอัตราการเรียนรู้
  4. ใน ZeRO Stage 3 GPU จะได้รับพารามิเตอร์ทั้งหมดที่จำเป็นสำหรับการส่งต่อเลเยอร์ได้อย่างไร
    • มันไม่จำเป็นต้องมีพารามิเตอร์แบบเต็ม
    • มันดาวน์โหลดได้จากอินเทอร์เน็ต
    • โดยจะคำนวณใหม่ตั้งแต่ต้นในแต่ละครั้ง
    • โดยจะรวบรวมชิ้นส่วนที่ขาดหายไปทั้งหมด จากนั้นจึงทิ้งชิ้นส่วนเหล่านั้นในภายหลัง
  5. ฟีเจอร์ PyTorch ใดที่ใช้การแบ่งส่วนสไตล์ ZeRO
    • FSDP (ขนานข้อมูลแบบแบ่งส่วนอย่างสมบูรณ์)
    • DataLoader
    • ทอร์ชสคริปต์
    • ออโต้กราด
  6. อะไรคือข้อดีข้อเสียหลักที่ ZeRO ทำเพื่อประหยัดหน่วยความจำ?
    • มันเสียสละความแม่นยำของโมเดลเพื่อความรวดเร็ว
    • เพิ่มการสื่อสารเพิ่มเติมเพื่อรวบรวมและกระจายชิ้นส่วนตามต้องการ
    • มันจะลบเลเยอร์ออกจากโมเดล
    • ใช้ได้กับรุ่นที่เล็กมากเท่านั้น
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients