แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
การสื่อสารโดยรวมและแบบทดสอบ NCCL
ทดสอบบทบาทการลดทั้งหมด การรวบรวมทั้งหมด การออกอากาศ และลดการกระจาย ข้อมูลระบุตัวตนของ NCCL การออฟโหลดเครือข่าย และตัวอย่างการลดผลรวมเล็กน้อย
คำถาม 1 ของ 8
การดำเนินการแบบลดทั้งหมดบรรลุผลสำเร็จอะไรในการฝึกอบรมแบบกระจาย?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การดำเนินการแบบลดทั้งหมดบรรลุผลสำเร็จอะไรในการฝึกอบรมแบบกระจาย?
- โดยจะรวมค่าต่างๆ ของ GPU ทั้งหมด และส่งผลให้ GPU ทุกตัวได้รับผลลัพธ์ที่รวมกัน
- มันจะลบข้อมูลที่ซ้ำซ้อนออกจาก GPU ตัวเดียว
- จะลดความเร็วสัญญาณนาฬิกาของ GPU เพื่อประหยัดพลังงาน
- โดยจะส่งข้อมูลจาก GPU ทั้งหมดไปยังดิสก์จัดเก็บข้อมูลเดียว
- อักษรย่อ ป.ป.ช. ย่อมาจากอะไร?
- เลเยอร์คลัสเตอร์คลัสเตอร์ประสาท
- ตรรกะการควบคุมแคชเครือข่าย
- ไลบรารีการสื่อสารแบบรวมของ NVIDIA
- ไลบรารีการคำนวณ Convolution ตัวเลข
- Why can chunked ring communication be useful for a large tensor?
- It guarantees constant latency for any number of devices
- Chunks can be streamed across participating links instead of waiting for one monolithic transfer
- It makes topology irrelevant
- It prevents all network contention
- การดำเนินการโดยรวมใดที่รวบรวมข้อมูลของ GPU แต่ละตัวเป็นสำเนาฉบับสมบูรณ์ที่ GPU ทั้งหมดถือครอง
- ออกอากาศ
- ลดการกระจาย
- สิ่งกีดขวาง
- รวบรวมทั้งหมด
- What does a supported network reduction offload such as SHARP do?
- Guarantee exactly half the traffic for every collective
- Remove the need for participating ranks
- Perform some reduction work in compatible network hardware
- Turn all-gather into a local memory copy
- โดยปกติแล้ว NCCL จะใช้การเชื่อมต่อระหว่างกันแบบใดในการสื่อสารระหว่างเซิร์ฟเวอร์ (โหนด)
- InfiniBand หรือ RoCE
- สาย USB
- สล็อต PCIe เท่านั้น
- อินเตอร์เน็ตไร้สาย
- Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
- Only its own original value
- 3 for the middle rank and nothing elsewhere
- The average 3.33 unless requested separately
- 10
- Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
- รวบรวมทั้งหมด
- ลดการกระจาย
- ออกอากาศ
- A standalone model checkpoint