คู่มือทางเทคนิค

การสื่อสารโดยรวมและ NCCL

Collective communication coordinates data across a group of participating devices.

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการสื่อสารโดยรวมและ NCCL
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

NCCL implements GPU communication operations such as all-reduce, all-gather and broadcast; their performance depends on message size, topology, hardware and configuration.

เจาะลึก

การฝึกโมเดลขนาดใหญ่หมายความว่า GPU แต่ละตัวจะคำนวณการไล่ระดับสีบนส่วนของข้อมูลของตัวเอง จากนั้น GPU ทั้งหมดจะต้องตกลงกับผลลัพธ์ที่รวมกันก่อนถึงขั้นตอนถัดไป การประสานงานดังกล่าวเสร็จสิ้นด้วยการดำเนินการร่วมกัน: ลดค่าผลรวมใน GPU ทั้งหมดและให้ผลลัพธ์แก่ทุกคน all-gather รวบรวมชิ้นส่วนของ GPU แต่ละตัวเป็นสำเนาเต็มของชิ้นส่วนทั้งหมด การออกอากาศจะส่งข้อมูลของ GPU ตัวหนึ่งไปยังส่วนที่เหลือ ลดการกระจายรวมแล้วแยก NCCL (NVIDIA Collective Communications Library) ปรับใช้สิ่งเหล่านี้อย่างมีประสิทธิภาพกับ GPU ในเซิร์ฟเวอร์และข้ามเซิร์ฟเวอร์ โดยใช้อัลกอริธึมที่รับรู้โทโพโลยี เช่น ริงและทรีลดทั้งหมด โดยใช้ประโยชน์จาก NVLink ภายในโหนดและ InfiniBand หรือ RoCE ระหว่างโหนด และเป็นแกนหลักการสื่อสารภายใต้ PyTorch DDP, FSDP, DeepSpeed ​​และ Megatron

การใช้งานจริงในโลกแห่งความเป็นจริง

การซิงโครไนซ์การไล่ระดับสีทุกขั้นตอนการฝึกกับ GPU ทั้งหมดโดยใช้การลดทั้งหมดใน PyTorch DistributedDataParallel

สถานะเครื่องมือเพิ่มประสิทธิภาพการแบ่งส่วนและการรวบรวมพารามิเตอร์ตามความต้องการด้วยการรวบรวมทั้งหมดและลดการกระจายใน FSDP หรือ DeepSpeed ZeRO

การถ่ายทอดน้ำหนักของโมเดลเริ่มต้นจาก GPU ตัวหนึ่งไปยังตัวอื่นๆ ทั้งหมดเมื่อเริ่มต้นการฝึกซ้อม

การใช้การลดวงแหวนทั้งหมดผ่าน NVLink และ InfiniBand เพื่อรักษาแบนด์วิธให้สูงในคลัสเตอร์ GPU แบบหลายโหนด

อนาคตของการสื่อสารโดยรวมและ NCCL

Larger models and clusters motivate work on computation/communication overlap, topology-aware routing and network offloads. These can improve some workloads while adding configuration and debugging needs. Compare algorithms with representative tensor sizes and record versions and topology. Correct participation and buffer handling remain essential even when a library automates much of the routing. A link-bandwidth claim alone cannot establish end-to-end training speed.

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Collective Communication and NCCL quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

Collective Communication และ NCCL คืออะไร?

Collective communication coordinates data across a group of participating devices. NCCL implements GPU communication operations such as all-reduce, all-gather and broadcast; their performance depends on message size, topology, hardware and configuration.

การดำเนินการแบบลดทั้งหมดบรรลุผลสำเร็จอะไรในการฝึกอบรมแบบกระจาย?

ลดผลรวมทั้งหมด (หรือรวม) ค่าใน GPU ทุกตัว และกระจายผลลัพธ์ที่เหมือนกันกลับไปยังทุก GPU ซึ่งเป็นวิธีการซิงโครไนซ์การไล่ระดับสี

อักษรย่อ ป.ป.ช. ย่อมาจากอะไร?

NCCL คือ NVIDIA Collective Communications Library ซึ่งใช้การดำเนินงานแบบ multi-GPU และ multi-node ที่รวดเร็ว

Why can chunked ring communication be useful for a large tensor?

A ring organizes chunk movement, but performance still depends on the network and workload.

การดำเนินการโดยรวมใดที่รวบรวมข้อมูลของ GPU แต่ละตัวเป็นสำเนาฉบับสมบูรณ์ที่ GPU ทั้งหมดถือครอง

All-gather รวบรวมชิ้นส่วนที่แตกต่างกันจาก GPU ทุกตัวและประกอบเป็นชุดทั้งหมดบนชิ้นส่วนทั้งหมด ซึ่งใช้อย่างมากในการฝึกอบรมแบบแบ่งส่วน เช่น FSDP

What does a supported network reduction offload such as SHARP do?

Offload capability is configuration-dependent and must be evaluated.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →