ต่อไปคำแนะนำต่อไป
การกำหนดปริมาณหลังการฝึกอบรม GPTQ และ AWQ
เทคนิค
คู่มือทางเทคนิค
DeepSpeed (Microsoft) และ Megatron-LM (NVIDIA) คือชุดซอฟต์แวร์ที่ทำให้โมเดลการฝึกที่มีพารามิเตอร์นับพันล้านตัวใน GPU นับพันมีความเป็นไปได้จริง
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
หากไม่มีสิ่งเหล่านี้ โมเดลชายแดนในปัจจุบันก็ไม่สามารถบรรจุลงในหน่วยความจำหรือเสร็จสิ้นการฝึกอบรมในเวลาอันสมควรได้
การฝึกโมเดลขนาดใหญ่บน GPU ตัวเดียวเป็นไปไม่ได้ เนื่องจากน้ำหนัก การไล่ระดับสี และสถานะของเครื่องมือเพิ่มประสิทธิภาพไม่พอดี สแต็กเหล่านี้แบ่งงานออกเป็น GPU จำนวนมาก Megatron-LM เป็นผู้บุกเบิกเทนเซอร์ขนาน โดยแบ่งการคูณเมทริกซ์แต่ละตัวภายในแต่ละเลเยอร์ทั่วทั้ง GPU บวกกับไปป์ไลน์ขนาน ซึ่งวางเลเยอร์ที่แตกต่างกันบน GPU ที่แตกต่างกัน ผลงานอันเป็นเอกลักษณ์ของ DeepSpeed คือ ZeRO (Zero Redundancy Optimizer) ซึ่งจะแบ่งสถานะการเพิ่มประสิทธิภาพ การไล่ระดับสี และพารามิเตอร์ต่างๆ ทั่วทั้ง GPU แทนที่จะจำลองข้อมูลเหล่านั้น โดยตัดหน่วยความจำต่อ GPU อย่างมาก ทั้งสองมักจะรวมกัน (Megatron-DeepSpeed) เพื่อฝึกโมเดลเช่น BLOOM-176B และ Megatron-Turing NLG พวกเขายังเพิ่มความแม่นยำแบบผสม จุดตรวจสอบการเปิดใช้งาน และการออฟโหลดไปยัง CPU หรือ NVMe เพื่อให้โมเดลขนาดใหญ่ฝึกฝนบนฮาร์ดแวร์ที่มีจำกัด
การฝึกอบรมโมเดล BLOOM-176B หลายภาษาแบบเปิดโดยใช้ Megatron-DeepSpeed Stack ที่รวมกันใน GPU หลายร้อยตัว
Microsoft และ NVIDIA ฝึกอบรมโมเดล NLG เมกะทรอน-ทัวริงพารามิเตอร์ 530 พันล้านพารามิเตอร์พร้อมระบบขนาน 3 มิติ
ZeRO-Offload ช่วยให้นักวิจัยปรับแต่งโมเดลหลายพันล้านพารามิเตอร์บน GPU เวิร์กสเตชันเดียวโดยกระจายสถานะเครื่องมือเพิ่มประสิทธิภาพไปที่ CPU RAM
การใช้จุดตรวจสอบการเปิดใช้งานในสแต็กเหล่านี้เพื่อให้พอดีกับหน้าต่างบริบทที่ยาวขึ้นโดยการคำนวณการเปิดใช้งานใหม่แทนที่จะจัดเก็บทั้งหมด
คาดหวังการผสานรวมที่เข้มงวดยิ่งขึ้นกับ FSDP ดั้งเดิมของ PyTorch (Fully Sharded Data Parallel) ซึ่งดูดซับแนวคิด ZeRO มากมาย ซึ่งทำให้เส้นแบ่งระหว่างกลุ่มการวิจัยและเฟรมเวิร์กหลักไม่ชัดเจน แนวทางที่ขับเคลื่อนด้วยคอมไพเลอร์และเครื่องมือวางแผนการทำงานแบบขนานอัตโนมัติมีจุดมุ่งหมายเพื่อลบการปรับแต่งแบบแมนนวล ในขณะที่คลัสเตอร์การฝึกฝนเติบโตไปสู่ตัวเร่งความเร็วหลายแสนตัว ความทนทานต่อข้อผิดพลาด การปรับขนาดที่ยืดหยุ่น และการสื่อสารที่ทับซ้อนกันด้วยการคำนวณกลายเป็นขอบเขตทางวิศวกรรมที่โดดเด่น ควบคู่ไปกับการรองรับฮาร์ดแวร์ใหม่ เช่น NVIDIA Blackwell และชิปการฝึกฝนแบบกำหนดเอง
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
DeepSpeed (Microsoft) และ Megatron-LM (NVIDIA) คือชุดซอฟต์แวร์ที่ทำให้โมเดลการฝึกที่มีพารามิเตอร์นับพันล้านตัวใน GPU นับพันมีความเป็นไปได้จริง หากไม่มีสิ่งเหล่านี้ โมเดลชายแดนในปัจจุบันก็ไม่สามารถบรรจุลงในหน่วยความจำหรือเสร็จสิ้นการฝึกอบรมในเวลาอันสมควรได้
ZeRO (Zero Redundancy Optimizer) กำจัดความซ้ำซ้อนของหน่วยความจำโดยการแบ่งสถานะการเพิ่มประสิทธิภาพ การไล่ระดับสี และพารามิเตอร์ต่างๆ ทั่วทั้ง GPU แทนที่จะจำลองข้อมูลบนอุปกรณ์แต่ละเครื่อง
Tensor Parallelism แบ่งพาร์ติชันคณิตศาสตร์ภายในเลเยอร์เดียว (เช่น การคูณเมทริกซ์ขนาดใหญ่) ไปยัง GPU หลายตัว ซึ่งเป็นการแยกภายในเลเยอร์
พารามิเตอร์ชาร์ด ZeRO Stage 3 นอกเหนือจากสถานะการไล่ระดับสีและเครื่องมือเพิ่มประสิทธิภาพ โดยรวบรวมพารามิเตอร์เหล่านี้ตามความต้องการ ทำให้มีหน่วยความจำลดลงมากที่สุด
จุดตรวจสอบการเปิดใช้งานจะจัดเก็บการเปิดใช้งานระดับกลางน้อยลง และคำนวณใหม่ในระหว่างการเผยแพร่กลับ โดยแลกการคำนวณเพิ่มเติมสำหรับหน่วยความจำที่ลดลง
ความเท่าเทียม 3 มิติซ้อนกันสามกลยุทธ์มุมฉาก: ความเท่าเทียมของข้อมูล ความเท่าเทียมของเทนเซอร์ (ในเลเยอร์) และความขนานของไปป์ไลน์ (ระหว่างเลเยอร์)
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การกำหนดปริมาณหลังการฝึกอบรม GPTQ และ AWQ
เทคนิค