แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบข้อมูลแบบแบ่งส่วนอย่างสมบูรณ์
ครอบคลุมการแบ่งส่วน FSDP, การรวบรวมทั้งหมดและลดการกระจาย, การทับซ้อนกันของการสื่อสาร และการแลกเปลี่ยนหน่วยความจำกับเครือข่ายในการฝึกโมเดลแบบกระจายขนาดใหญ่
คำถาม 1 ของ 8
FSDP แบ่งส่วน GPU อะไรบ้างที่ข้อมูลแบบขนานมาตรฐานไม่มี
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- FSDP แบ่งส่วน GPU อะไรบ้างที่ข้อมูลแบบขนานมาตรฐานไม่มี
- พารามิเตอร์ การไล่ระดับสี และสถานะเครื่องมือเพิ่มประสิทธิภาพ
- เฉพาะชุดอินพุตเท่านั้น
- เฉพาะตารางอัตราการเรียนรู้เท่านั้น
- ไฟล์ชุดข้อมูลการฝึกอบรมบนดิสก์
- FSDP ใช้การดำเนินการโดยรวมใดเพื่อสร้างน้ำหนักเต็มของเลเยอร์ใหม่ก่อนที่จะคำนวณ
- ออกอากาศเท่านั้น
- รวบรวมทั้งหมด
- กระจาย
- สิ่งกีดขวาง
- เหตุใด FSDP จึงปล่อยน้ำหนักเต็มที่รวบรวมไว้ทันทีหลังจากการคำนวณของเลเยอร์
- เพื่อทำให้การไล่ระดับสีที่ไม่ได้ใช้เสียหาย
- เพื่อบังคับการฝึกซ้อมให้ช้าลง
- เพื่อรักษาพื้นที่หน่วยความจำถาวรให้เหลือเพียงหนึ่งส่วนต่ออุปกรณ์
- เพราะ PyTorch จะลบพวกมันแบบสุ่ม
- FSDP ได้รับแรงบันดาลใจส่วนใหญ่มาจากแนวทางการเพิ่มประสิทธิภาพหน่วยความจำแบบใดก่อนหน้านี้
- MapReduce ของ Google
- Apache Spark RDD
- แกน CUDA ของ NVIDIA
- ZeRO ของ Microsoft (เครื่องมือเพิ่มประสิทธิภาพความซ้ำซ้อนเป็นศูนย์)
- FSDP ซ่อนเวลาแฝงของเครือข่ายจำนวนมากจากการรวบรวมน้ำหนักได้อย่างไร
- โดยการซ้อนทับการสื่อสารกับการคำนวณ โดยดึงพารามิเตอร์ของเลเยอร์ถัดไปล่วงหน้า
- โดยปิดการใช้งานการย้อนกลับ
- โดยการบีบอัดตุ้มน้ำหนักให้เหลือเพียงเล็กน้อย
- โดยการฝึกบน CPU เท่านั้น
- การดำเนินการรวมใดที่กระจายส่วนการไล่ระดับสีแบบรวมกลับไปยัง GPU ของตนเองในการย้อนกลับ
- การทำสำเนาทั้งหมด
- ลดการกระจาย
- สำเนา GPU เดี่ยว
- รวบรวมเท่านั้น
- Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
- It removes all model parameters during training
- It converts optimizer states into network requests
- Each rank stores a shard of model state instead of a full copy
- It places every activation permanently on the CPU
- What is a central systems tradeoff in FSDP?
- Lower memory and no communication at any point
- More replicated parameters in exchange for fewer data samples
- Replacing training with inference
- Lower per-device memory use in exchange for collective communication