คู่มือทางเทคนิค

สแต็คการฝึก DeepSpeed ​​และ Megatron

DeepSpeed (Microsoft) และ Megatron-LM (NVIDIA) คือชุดซอฟต์แวร์ที่ทำให้โมเดลการฝึกที่มีพารามิเตอร์นับพันล้านตัวใน GPU นับพันมีความเป็นไปได้จริง

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ DeepSpeed และกองการฝึกซ้อม Megatron
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

หากไม่มีสิ่งเหล่านี้ โมเดลชายแดนในปัจจุบันก็ไม่สามารถบรรจุลงในหน่วยความจำหรือเสร็จสิ้นการฝึกอบรมในเวลาอันสมควรได้

เจาะลึก

การฝึกโมเดลขนาดใหญ่บน GPU ตัวเดียวเป็นไปไม่ได้ เนื่องจากน้ำหนัก การไล่ระดับสี และสถานะของเครื่องมือเพิ่มประสิทธิภาพไม่พอดี สแต็กเหล่านี้แบ่งงานออกเป็น GPU จำนวนมาก Megatron-LM เป็นผู้บุกเบิกเทนเซอร์ขนาน โดยแบ่งการคูณเมทริกซ์แต่ละตัวภายในแต่ละเลเยอร์ทั่วทั้ง GPU บวกกับไปป์ไลน์ขนาน ซึ่งวางเลเยอร์ที่แตกต่างกันบน GPU ที่แตกต่างกัน ผลงานอันเป็นเอกลักษณ์ของ DeepSpeed ​​คือ ZeRO (Zero Redundancy Optimizer) ซึ่งจะแบ่งสถานะการเพิ่มประสิทธิภาพ การไล่ระดับสี และพารามิเตอร์ต่างๆ ทั่วทั้ง GPU แทนที่จะจำลองข้อมูลเหล่านั้น โดยตัดหน่วยความจำต่อ GPU อย่างมาก ทั้งสองมักจะรวมกัน (Megatron-DeepSpeed) เพื่อฝึกโมเดลเช่น BLOOM-176B และ Megatron-Turing NLG พวกเขายังเพิ่มความแม่นยำแบบผสม จุดตรวจสอบการเปิดใช้งาน และการออฟโหลดไปยัง CPU หรือ NVMe เพื่อให้โมเดลขนาดใหญ่ฝึกฝนบนฮาร์ดแวร์ที่มีจำกัด

การใช้งานจริงในโลกแห่งความเป็นจริง

การฝึกอบรมโมเดล BLOOM-176B หลายภาษาแบบเปิดโดยใช้ Megatron-DeepSpeed ​​Stack ที่รวมกันใน GPU หลายร้อยตัว

Microsoft และ NVIDIA ฝึกอบรมโมเดล NLG เมกะทรอน-ทัวริงพารามิเตอร์ 530 พันล้านพารามิเตอร์พร้อมระบบขนาน 3 มิติ

ZeRO-Offload ช่วยให้นักวิจัยปรับแต่งโมเดลหลายพันล้านพารามิเตอร์บน GPU เวิร์กสเตชันเดียวโดยกระจายสถานะเครื่องมือเพิ่มประสิทธิภาพไปที่ CPU RAM

การใช้จุดตรวจสอบการเปิดใช้งานในสแต็กเหล่านี้เพื่อให้พอดีกับหน้าต่างบริบทที่ยาวขึ้นโดยการคำนวณการเปิดใช้งานใหม่แทนที่จะจัดเก็บทั้งหมด

อนาคตของ DeepSpeed และกองการฝึกซ้อม Megatron

คาดหวังการผสานรวมที่เข้มงวดยิ่งขึ้นกับ FSDP ดั้งเดิมของ PyTorch (Fully Sharded Data Parallel) ซึ่งดูดซับแนวคิด ZeRO มากมาย ซึ่งทำให้เส้นแบ่งระหว่างกลุ่มการวิจัยและเฟรมเวิร์กหลักไม่ชัดเจน แนวทางที่ขับเคลื่อนด้วยคอมไพเลอร์และเครื่องมือวางแผนการทำงานแบบขนานอัตโนมัติมีจุดมุ่งหมายเพื่อลบการปรับแต่งแบบแมนนวล ในขณะที่คลัสเตอร์การฝึกฝนเติบโตไปสู่ตัวเร่งความเร็วหลายแสนตัว ความทนทานต่อข้อผิดพลาด การปรับขนาดที่ยืดหยุ่น และการสื่อสารที่ทับซ้อนกันด้วยการคำนวณกลายเป็นขอบเขตทางวิศวกรรมที่โดดเด่น ควบคู่ไปกับการรองรับฮาร์ดแวร์ใหม่ เช่น NVIDIA Blackwell และชิปการฝึกฝนแบบกำหนดเอง

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the DeepSpeed and Megatron Training Stacks quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

DeepSpeed และ Megatron Training Stacks คืออะไร

DeepSpeed (Microsoft) และ Megatron-LM (NVIDIA) คือชุดซอฟต์แวร์ที่ทำให้โมเดลการฝึกที่มีพารามิเตอร์นับพันล้านตัวใน GPU นับพันมีความเป็นไปได้จริง หากไม่มีสิ่งเหล่านี้ โมเดลชายแดนในปัจจุบันก็ไม่สามารถบรรจุลงในหน่วยความจำหรือเสร็จสิ้นการฝึกอบรมในเวลาอันสมควรได้

จุดประสงค์หลักของเครื่องมือเพิ่มประสิทธิภาพ ZeRO ของ DeepSpeed ​​คืออะไร

ZeRO (Zero Redundancy Optimizer) กำจัดความซ้ำซ้อนของหน่วยความจำโดยการแบ่งสถานะการเพิ่มประสิทธิภาพ การไล่ระดับสี และพารามิเตอร์ต่างๆ ทั่วทั้ง GPU แทนที่จะจำลองข้อมูลบนอุปกรณ์แต่ละเครื่อง

ความเท่าเทียมของเทนเซอร์ซึ่งบุกเบิกใน Megatron-LM แยกแบบจำลองอย่างไร

Tensor Parallelism แบ่งพาร์ติชันคณิตศาสตร์ภายในเลเยอร์เดียว (เช่น การคูณเมทริกซ์ขนาดใหญ่) ไปยัง GPU หลายตัว ซึ่งเป็นการแยกภายในเลเยอร์

สเตจ ZeRO ใดที่ประหยัดหน่วยความจำได้มากที่สุดโดยการแบ่งพารามิเตอร์โมเดลด้วยตัวเองด้วย

พารามิเตอร์ชาร์ด ZeRO Stage 3 นอกเหนือจากสถานะการไล่ระดับสีและเครื่องมือเพิ่มประสิทธิภาพ โดยรวบรวมพารามิเตอร์เหล่านี้ตามความต้องการ ทำให้มีหน่วยความจำลดลงมากที่สุด

'จุดตรวจสอบการเปิดใช้งาน' แลกเปลี่ยนอะไรเพื่อบันทึกหน่วยความจำระหว่างการฝึก?

จุดตรวจสอบการเปิดใช้งานจะจัดเก็บการเปิดใช้งานระดับกลางน้อยลง และคำนวณใหม่ในระหว่างการเผยแพร่กลับ โดยแลกการคำนวณเพิ่มเติมสำหรับหน่วยความจำที่ลดลง

เหตุใดการรวมเทคนิคเหล่านี้จึงมักเรียกว่า 'ความเท่าเทียม 3 มิติ'

ความเท่าเทียม 3 มิติซ้อนกันสามกลยุทธ์มุมฉาก: ความเท่าเทียมของข้อมูล ความเท่าเทียมของเทนเซอร์ (ในเลเยอร์) และความขนานของไปป์ไลน์ (ระหว่างเลเยอร์)

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →