แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบความเท่าเทียมของข้อมูล

ตรวจสอบแบบจำลองที่ทำซ้ำ การซิงโครไนซ์การไล่ระดับสี การกำหนดขนาดเป็นชุด ต้นทุนการสื่อสาร และขีดจำกัดของการฝึกอบรมการปรับขนาดระหว่างพนักงาน

เส้นทางแนะนำที่เกี่ยวข้องความเท่าเทียมของข้อมูล
คำถาม 1 ของ 8

ในการขนานข้อมูลมาตรฐาน GPU แต่ละตัวเก็บข้อมูลเท่าใด

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ในการขนานข้อมูลมาตรฐาน GPU แต่ละตัวเก็บข้อมูลเท่าใด
    • สำเนาแบบจำลองที่สมบูรณ์ ซึ่งประมวลผลส่วนอื่นของแบทช์
    • ส่วนต่าง ๆ ของเลเยอร์ของโมเดล
    • เฉพาะสถานะเครื่องมือเพิ่มประสิทธิภาพเท่านั้น โดยน้ำหนักจะจัดเก็บไว้ที่ส่วนกลาง
    • เวอร์ชันบีบอัดของโมเดลที่มีพารามิเตอร์น้อยกว่า
  2. การดำเนินการสื่อสารใดที่ทำให้แบบจำลองแบบจำลองซิงค์กันในแต่ละขั้นตอน
    • Broadcast ซึ่งจะคัดลอกข้อมูลของ GPU ตัวหนึ่งไปยังตัวอื่นทั้งหมด
    • ลดทั้งหมด ซึ่งเฉลี่ยการไล่ระดับสีใน GPU ทั้งหมด
    • Scatter ซึ่งแบ่งข้อมูลระหว่าง GPU
    • ไม่จำเป็นต้องมีการสื่อสารระหว่าง GPU
  3. What memory limit remains in plain data parallelism?
    • The full model is sharded automatically across the GPUs
    • Only the input batch uses device memory
    • Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
    • Each worker stores different model layers by default
  4. Which factors does NCCL use when selecting collective algorithms?
    • Only the random seed and learning rate
    • Only the total number of model parameters
    • The optimizer type and validation score
    • Message size and topology
  5. PyTorch DistributedDataParallel ซ่อนเวลาแฝงในการสื่อสารอย่างไร
    • โดยการทับซ้อนกันของการไล่ระดับสีทั้งหมด-ลดกับการย้อนกลับที่กำลังดำเนินอยู่
    • โดยการข้ามการซิงโครไนซ์การไล่ระดับสีในขั้นตอนสลับกัน
    • โดยการบีบอัดการไล่ระดับสีทั้งหมดให้เป็นตัวเลขเดียว
    • โดยการรันฟอร์เวิร์ดพาสบนซีพียู
  6. With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
    • B divided by W
    • B multiplied by W, before any gradient-accumulation factor
    • Always exactly W samples
    • The model parameter count divided by B
  7. Why may adding more data-parallel GPUs fail to increase throughput proportionally?
    • All-reduce makes model parameters disappear
    • The model is copied only to one worker
    • Gradient communication, data loading, and synchronization add overhead
    • More workers always reduce the global batch to zero
  8. What does gradient accumulation let a data-parallel training loop do?
    • Shard parameters automatically across all workers
    • Skip forward and backward computation
    • Replace the model with an all-reduce operation
    • Combine gradients from multiple microbatches before an optimizer update