แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

การสื่อสารโดยรวมและแบบทดสอบ NCCL

ทดสอบบทบาทการลดทั้งหมด การรวบรวมทั้งหมด การออกอากาศ และลดการกระจาย ข้อมูลระบุตัวตนของ NCCL การออฟโหลดเครือข่าย และตัวอย่างการลดผลรวมเล็กน้อย

เส้นทางแนะนำที่เกี่ยวข้องการสื่อสารโดยรวมและ Nccl
คำถาม 1 ของ 8

การดำเนินการแบบลดทั้งหมดบรรลุผลสำเร็จอะไรในการฝึกอบรมแบบกระจาย?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การดำเนินการแบบลดทั้งหมดบรรลุผลสำเร็จอะไรในการฝึกอบรมแบบกระจาย?
    • โดยจะรวมค่าต่างๆ ของ GPU ทั้งหมด และส่งผลให้ GPU ทุกตัวได้รับผลลัพธ์ที่รวมกัน
    • มันจะลบข้อมูลที่ซ้ำซ้อนออกจาก GPU ตัวเดียว
    • จะลดความเร็วสัญญาณนาฬิกาของ GPU เพื่อประหยัดพลังงาน
    • โดยจะส่งข้อมูลจาก GPU ทั้งหมดไปยังดิสก์จัดเก็บข้อมูลเดียว
  2. อักษรย่อ ป.ป.ช. ย่อมาจากอะไร?
    • เลเยอร์คลัสเตอร์คลัสเตอร์ประสาท
    • ตรรกะการควบคุมแคชเครือข่าย
    • ไลบรารีการสื่อสารแบบรวมของ NVIDIA
    • ไลบรารีการคำนวณ Convolution ตัวเลข
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. การดำเนินการโดยรวมใดที่รวบรวมข้อมูลของ GPU แต่ละตัวเป็นสำเนาฉบับสมบูรณ์ที่ GPU ทั้งหมดถือครอง
    • ออกอากาศ
    • ลดการกระจาย
    • สิ่งกีดขวาง
    • รวบรวมทั้งหมด
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. โดยปกติแล้ว NCCL จะใช้การเชื่อมต่อระหว่างกันแบบใดในการสื่อสารระหว่างเซิร์ฟเวอร์ (โหนด)
    • InfiniBand หรือ RoCE
    • สาย USB
    • สล็อต PCIe เท่านั้น
    • อินเตอร์เน็ตไร้สาย
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • รวบรวมทั้งหมด
    • ลดการกระจาย
    • ออกอากาศ
    • A standalone model checkpoint