แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบความเท่าเทียมของข้อมูล
ตรวจสอบแบบจำลองที่ทำซ้ำ การซิงโครไนซ์การไล่ระดับสี การกำหนดขนาดเป็นชุด ต้นทุนการสื่อสาร และขีดจำกัดของการฝึกอบรมการปรับขนาดระหว่างพนักงาน
คำถาม 1 ของ 8
ในการขนานข้อมูลมาตรฐาน GPU แต่ละตัวเก็บข้อมูลเท่าใด
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ในการขนานข้อมูลมาตรฐาน GPU แต่ละตัวเก็บข้อมูลเท่าใด
- สำเนาแบบจำลองที่สมบูรณ์ ซึ่งประมวลผลส่วนอื่นของแบทช์
- ส่วนต่าง ๆ ของเลเยอร์ของโมเดล
- เฉพาะสถานะเครื่องมือเพิ่มประสิทธิภาพเท่านั้น โดยน้ำหนักจะจัดเก็บไว้ที่ส่วนกลาง
- เวอร์ชันบีบอัดของโมเดลที่มีพารามิเตอร์น้อยกว่า
- การดำเนินการสื่อสารใดที่ทำให้แบบจำลองแบบจำลองซิงค์กันในแต่ละขั้นตอน
- Broadcast ซึ่งจะคัดลอกข้อมูลของ GPU ตัวหนึ่งไปยังตัวอื่นทั้งหมด
- ลดทั้งหมด ซึ่งเฉลี่ยการไล่ระดับสีใน GPU ทั้งหมด
- Scatter ซึ่งแบ่งข้อมูลระหว่าง GPU
- ไม่จำเป็นต้องมีการสื่อสารระหว่าง GPU
- What memory limit remains in plain data parallelism?
- The full model is sharded automatically across the GPUs
- Only the input batch uses device memory
- Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
- Each worker stores different model layers by default
- Which factors does NCCL use when selecting collective algorithms?
- Only the random seed and learning rate
- Only the total number of model parameters
- The optimizer type and validation score
- Message size and topology
- PyTorch DistributedDataParallel ซ่อนเวลาแฝงในการสื่อสารอย่างไร
- โดยการทับซ้อนกันของการไล่ระดับสีทั้งหมด-ลดกับการย้อนกลับที่กำลังดำเนินอยู่
- โดยการข้ามการซิงโครไนซ์การไล่ระดับสีในขั้นตอนสลับกัน
- โดยการบีบอัดการไล่ระดับสีทั้งหมดให้เป็นตัวเลขเดียว
- โดยการรันฟอร์เวิร์ดพาสบนซีพียู
- With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
- B divided by W
- B multiplied by W, before any gradient-accumulation factor
- Always exactly W samples
- The model parameter count divided by B
- Why may adding more data-parallel GPUs fail to increase throughput proportionally?
- All-reduce makes model parameters disappear
- The model is copied only to one worker
- Gradient communication, data loading, and synchronization add overhead
- More workers always reduce the global batch to zero
- What does gradient accumulation let a data-parallel training loop do?
- Shard parameters automatically across all workers
- Skip forward and backward computation
- Replace the model with an all-reduce operation
- Combine gradients from multiple microbatches before an optimizer update