แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบ ZeRO และเครื่องมือเพิ่มประสิทธิภาพ Sharded
ครอบคลุมระยะ ZeRO, หน่วยความจำสถานะ Adam, การรวบรวมพารามิเตอร์, การลดการไล่ระดับสี, ตัวเลือกออฟโหลด และต้นทุนการสื่อสาร
คำถาม 1 ของ 8
ZeRO กำจัดความซ้ำซ้อนอะไรบ้างเมื่อเปรียบเทียบกับความเท่าเทียมของข้อมูลธรรมดา
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ZeRO กำจัดความซ้ำซ้อนอะไรบ้างเมื่อเปรียบเทียบกับความเท่าเทียมของข้อมูลธรรมดา
- ทำสำเนาสถานะของเครื่องมือเพิ่มประสิทธิภาพ การไล่ระดับสี และพารามิเตอร์ทั้งหมดบน GPU ทุกตัว
- ทำซ้ำสำเนาข้อมูลการฝึกบน GPU แต่ละตัว
- สายเคเบิลเครือข่ายซ้ำซ้อนระหว่างโหนด
- การส่งต่อซ้ำๆ จะส่งผ่านไปยังชุดเดียวกัน
- เหตุใดสถานะเครื่องมือเพิ่มประสิทธิภาพจึงมักเป็นหน่วยความจำที่ใหญ่ที่สุดของอดัม
- อดัมไม่ได้เก็บสถานะพิเศษไว้เลย
- อดัมเก็บค่าต่อพารามิเตอร์เพิ่มเติม (เช่น โมเมนตัมและความแปรปรวน) ซึ่งมักจะใหญ่กว่าขนาดโมเดลหลายเท่า
- อดัมทำซ้ำชุดข้อมูลทั้งหมด
- อดัมต้องการเก็บทุกการไล่ระดับสีในอดีตไว้ตลอดไป
- ชิ้นส่วน ZeRO Stage 3 มีอะไรบ้างที่ Stage 1 และ 2 ไม่มี?
- ข้อมูลการฝึกอบรม
- ฟังก์ชันการสูญเสีย
- โมเดลพารามิเตอร์เอง
- ตารางอัตราการเรียนรู้
- ใน ZeRO Stage 3 GPU จะได้รับพารามิเตอร์ทั้งหมดที่จำเป็นสำหรับการส่งต่อเลเยอร์ได้อย่างไร
- มันไม่จำเป็นต้องมีพารามิเตอร์แบบเต็ม
- มันดาวน์โหลดได้จากอินเทอร์เน็ต
- โดยจะคำนวณใหม่ตั้งแต่ต้นในแต่ละครั้ง
- โดยจะรวบรวมชิ้นส่วนที่ขาดหายไปทั้งหมด จากนั้นจึงทิ้งชิ้นส่วนเหล่านั้นในภายหลัง
- ฟีเจอร์ PyTorch ใดที่ใช้การแบ่งส่วนสไตล์ ZeRO
- FSDP (ขนานข้อมูลแบบแบ่งส่วนอย่างสมบูรณ์)
- DataLoader
- ทอร์ชสคริปต์
- ออโต้กราด
- อะไรคือข้อดีข้อเสียหลักที่ ZeRO ทำเพื่อประหยัดหน่วยความจำ?
- มันเสียสละความแม่นยำของโมเดลเพื่อความรวดเร็ว
- เพิ่มการสื่อสารเพิ่มเติมเพื่อรวบรวมและกระจายชิ้นส่วนตามต้องการ
- มันจะลบเลเยอร์ออกจากโมเดล
- ใช้ได้กับรุ่นที่เล็กมากเท่านั้น
- Which state is partitioned in ZeRO Stage 1?
- Only parameters, with optimizer states replicated
- Parameters, gradients, and optimizer states all sharded
- Optimizer states, while parameters and gradients remain replicated
- Only input activations and labels
- What is a practical cost of ZeRO-style sharding?
- It removes the need to calculate gradients
- It makes every optimizer update local with no data exchange
- It requires the model to be retrained from scratch for every step
- Additional communication to gather parameters and distribute gradients