แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการเชื่อมต่อระหว่าง NVLink และ GPU

ตรวจสอบลิงก์ขยายขนาด GPU, โครงสร้าง NVSwitch, การสื่อสารแบบรวม และความแตกต่างระหว่างลิงก์แบบแร็คและเครือข่ายคลัสเตอร์

เส้นทางแนะนำที่เกี่ยวข้องการเชื่อมต่อระหว่าง Nvlink และ GPU
คำถาม 1 ของ 8

เหตุใดการเชื่อมต่อความเร็วสูงเช่น NVLink จึงจำเป็นสำหรับโมเดล AI ขนาดใหญ่

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เหตุใดการเชื่อมต่อความเร็วสูงเช่น NVLink จึงจำเป็นสำหรับโมเดล AI ขนาดใหญ่
    • เนื่องจากรุ่นที่ใหญ่ที่สุดจะแบ่งออกเป็น GPU จำนวนมากที่ต้องแลกเปลี่ยนข้อมูลอย่างต่อเนื่อง
    • เพราะ GPU ตัวเดียวก็เพียงพอเสมอ แต่มันก็เหงา
    • เนื่องจาก GPU จำเป็นต้องเชื่อมต่อกับเครื่องพิมพ์
    • เพราะโมเดลจะถูกเก็บไว้ในการเชื่อมต่อระหว่างกันนั่นเอง
  2. NVLink มีข้อได้เปรียบเหนือบัส PCIe มาตรฐานสำหรับการสื่อสารระหว่าง GPU กับ GPU อย่างไร
    • มันช้ากว่าแต่ถูกกว่า
    • แบนด์วิธที่สูงขึ้นมากและเวลาแฝงที่ต่ำกว่า
    • ใช้งานได้ระหว่าง GPU และ CPU เท่านั้น
    • โดยไม่จำเป็นต้องใช้หน่วยความจำใดๆ
  3. บทบาทของ NVSwitch ในเซิร์ฟเวอร์หลาย GPU คืออะไร
    • มันทำให้ GPU เย็นลงด้วยพัดลม
    • มันเก็บระบบปฏิบัติการ
    • โดยทำหน้าที่เป็นคานขวางความเร็วสูง ดังนั้น GPU ทุกตัวจึงสามารถเข้าถึงได้ด้วยแบนด์วิธเต็ม
    • แปลงไฟจากเต้ารับติดผนัง
  4. การดำเนินการร่วมกันซึ่งเป็นเรื่องปกติในการฝึกอบรมแบบกระจายใดที่ได้รับประโยชน์อย่างมากจากการเชื่อมต่อระหว่างกันที่รวดเร็ว
    • การจัดเรียงข้อมูลบนฮาร์ดไดรฟ์
    • แสดงผลเพียงพิกเซลเดียว
    • การรวบรวมซอร์สโค้ด
    • ลดทั้งหมด ซึ่งจะรวมการไล่ระดับสีใน GPU
  5. นอกเหนือจากเซิร์ฟเวอร์เดียว เทคโนโลยีใดบ้างที่มักจะเชื่อมต่อโหนด GPU หลายพันโหนดเป็นคลัสเตอร์เดียว
    • InfiniBand และ RDMA-over-Ethernet
    • สาย USB และ Wi-Fi
    • บลูทูธ และ HDMI
    • โมเด็มแบบเรียกผ่านสายโทรศัพท์
  6. ระบบแร็คสเกลเช่น NVL72 ของ NVIDIA บรรลุผลอะไร
    • เป็น GPU ตัวเดียวในกล่องขนาดเล็ก
    • เชื่อมต่อ GPU หลายสิบตัวเข้ากับโดเมน NVLink ที่รวมเป็นหนึ่งเดียว
    • มันแทนที่ซอฟต์แวร์ทั้งหมดด้วยฮาร์ดแวร์
    • เป็นสารหล่อเย็นชนิดหนึ่ง
  7. Why can a fast GPU fabric improve distributed data-parallel training?
    • It removes the need to compute gradients
    • It converts training into a database lookup
    • It can reduce the time spent exchanging gradients in collectives such as all-reduce
    • It prevents GPUs from synchronizing
  8. How does an NVLink scale-up fabric differ from InfiniBand or Ethernet used across a cluster?
    • NVLink is only a file format
    • InfiniBand runs inside a GPU’s tensor core
    • Ethernet is used only for local memory access
    • NVLink connects GPUs within supported systems or rack domains; InfiniBand and Ethernet commonly connect cluster nodes