แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบข้อมูลแบบแบ่งส่วนอย่างสมบูรณ์

ครอบคลุมการแบ่งส่วน FSDP, การรวบรวมทั้งหมดและลดการกระจาย, การทับซ้อนกันของการสื่อสาร และการแลกเปลี่ยนหน่วยความจำกับเครือข่ายในการฝึกโมเดลแบบกระจายขนาดใหญ่

เส้นทางแนะนำที่เกี่ยวข้องข้อมูลแบบแบ่งส่วนอย่างสมบูรณ์
คำถาม 1 ของ 8

FSDP แบ่งส่วน GPU อะไรบ้างที่ข้อมูลแบบขนานมาตรฐานไม่มี

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. FSDP แบ่งส่วน GPU อะไรบ้างที่ข้อมูลแบบขนานมาตรฐานไม่มี
    • พารามิเตอร์ การไล่ระดับสี และสถานะเครื่องมือเพิ่มประสิทธิภาพ
    • เฉพาะชุดอินพุตเท่านั้น
    • เฉพาะตารางอัตราการเรียนรู้เท่านั้น
    • ไฟล์ชุดข้อมูลการฝึกอบรมบนดิสก์
  2. FSDP ใช้การดำเนินการโดยรวมใดเพื่อสร้างน้ำหนักเต็มของเลเยอร์ใหม่ก่อนที่จะคำนวณ
    • ออกอากาศเท่านั้น
    • รวบรวมทั้งหมด
    • กระจาย
    • สิ่งกีดขวาง
  3. เหตุใด FSDP จึงปล่อยน้ำหนักเต็มที่รวบรวมไว้ทันทีหลังจากการคำนวณของเลเยอร์
    • เพื่อทำให้การไล่ระดับสีที่ไม่ได้ใช้เสียหาย
    • เพื่อบังคับการฝึกซ้อมให้ช้าลง
    • เพื่อรักษาพื้นที่หน่วยความจำถาวรให้เหลือเพียงหนึ่งส่วนต่ออุปกรณ์
    • เพราะ PyTorch จะลบพวกมันแบบสุ่ม
  4. FSDP ได้รับแรงบันดาลใจส่วนใหญ่มาจากแนวทางการเพิ่มประสิทธิภาพหน่วยความจำแบบใดก่อนหน้านี้
    • MapReduce ของ Google
    • Apache Spark RDD
    • แกน CUDA ของ NVIDIA
    • ZeRO ของ Microsoft (เครื่องมือเพิ่มประสิทธิภาพความซ้ำซ้อนเป็นศูนย์)
  5. FSDP ซ่อนเวลาแฝงของเครือข่ายจำนวนมากจากการรวบรวมน้ำหนักได้อย่างไร
    • โดยการซ้อนทับการสื่อสารกับการคำนวณ โดยดึงพารามิเตอร์ของเลเยอร์ถัดไปล่วงหน้า
    • โดยปิดการใช้งานการย้อนกลับ
    • โดยการบีบอัดตุ้มน้ำหนักให้เหลือเพียงเล็กน้อย
    • โดยการฝึกบน CPU เท่านั้น
  6. การดำเนินการรวมใดที่กระจายส่วนการไล่ระดับสีแบบรวมกลับไปยัง GPU ของตนเองในการย้อนกลับ
    • การทำสำเนาทั้งหมด
    • ลดการกระจาย
    • สำเนา GPU เดี่ยว
    • รวบรวมเท่านั้น
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication