แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการเชื่อมต่อระหว่าง NVLink และ GPU
ตรวจสอบลิงก์ขยายขนาด GPU, โครงสร้าง NVSwitch, การสื่อสารแบบรวม และความแตกต่างระหว่างลิงก์แบบแร็คและเครือข่ายคลัสเตอร์
คำถาม 1 ของ 8
เหตุใดการเชื่อมต่อความเร็วสูงเช่น NVLink จึงจำเป็นสำหรับโมเดล AI ขนาดใหญ่
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เหตุใดการเชื่อมต่อความเร็วสูงเช่น NVLink จึงจำเป็นสำหรับโมเดล AI ขนาดใหญ่
- เนื่องจากรุ่นที่ใหญ่ที่สุดจะแบ่งออกเป็น GPU จำนวนมากที่ต้องแลกเปลี่ยนข้อมูลอย่างต่อเนื่อง
- เพราะ GPU ตัวเดียวก็เพียงพอเสมอ แต่มันก็เหงา
- เนื่องจาก GPU จำเป็นต้องเชื่อมต่อกับเครื่องพิมพ์
- เพราะโมเดลจะถูกเก็บไว้ในการเชื่อมต่อระหว่างกันนั่นเอง
- NVLink มีข้อได้เปรียบเหนือบัส PCIe มาตรฐานสำหรับการสื่อสารระหว่าง GPU กับ GPU อย่างไร
- มันช้ากว่าแต่ถูกกว่า
- แบนด์วิธที่สูงขึ้นมากและเวลาแฝงที่ต่ำกว่า
- ใช้งานได้ระหว่าง GPU และ CPU เท่านั้น
- โดยไม่จำเป็นต้องใช้หน่วยความจำใดๆ
- บทบาทของ NVSwitch ในเซิร์ฟเวอร์หลาย GPU คืออะไร
- มันทำให้ GPU เย็นลงด้วยพัดลม
- มันเก็บระบบปฏิบัติการ
- โดยทำหน้าที่เป็นคานขวางความเร็วสูง ดังนั้น GPU ทุกตัวจึงสามารถเข้าถึงได้ด้วยแบนด์วิธเต็ม
- แปลงไฟจากเต้ารับติดผนัง
- การดำเนินการร่วมกันซึ่งเป็นเรื่องปกติในการฝึกอบรมแบบกระจายใดที่ได้รับประโยชน์อย่างมากจากการเชื่อมต่อระหว่างกันที่รวดเร็ว
- การจัดเรียงข้อมูลบนฮาร์ดไดรฟ์
- แสดงผลเพียงพิกเซลเดียว
- การรวบรวมซอร์สโค้ด
- ลดทั้งหมด ซึ่งจะรวมการไล่ระดับสีใน GPU
- นอกเหนือจากเซิร์ฟเวอร์เดียว เทคโนโลยีใดบ้างที่มักจะเชื่อมต่อโหนด GPU หลายพันโหนดเป็นคลัสเตอร์เดียว
- InfiniBand และ RDMA-over-Ethernet
- สาย USB และ Wi-Fi
- บลูทูธ และ HDMI
- โมเด็มแบบเรียกผ่านสายโทรศัพท์
- ระบบแร็คสเกลเช่น NVL72 ของ NVIDIA บรรลุผลอะไร
- เป็น GPU ตัวเดียวในกล่องขนาดเล็ก
- เชื่อมต่อ GPU หลายสิบตัวเข้ากับโดเมน NVLink ที่รวมเป็นหนึ่งเดียว
- มันแทนที่ซอฟต์แวร์ทั้งหมดด้วยฮาร์ดแวร์
- เป็นสารหล่อเย็นชนิดหนึ่ง
- Why can a fast GPU fabric improve distributed data-parallel training?
- It removes the need to compute gradients
- It converts training into a database lookup
- It can reduce the time spent exchanging gradients in collectives such as all-reduce
- It prevents GPUs from synchronizing
- How does an NVLink scale-up fabric differ from InfiniBand or Ethernet used across a cluster?
- NVLink is only a file format
- InfiniBand runs inside a GPU’s tensor core
- Ethernet is used only for local memory access
- NVLink connects GPUs within supported systems or rack domains; InfiniBand and Ethernet commonly connect cluster nodes