คู่มือทางเทคนิค

โมเดลและความเท่าเทียมของท่อ

เมื่อโมเดลมีขนาดใหญ่เกินกว่าที่จะพอดีกับ GPU ตัวเดียว ความขนานของโมเดลและไปป์ไลน์จะแยกโมเดลออกจากอุปกรณ์ต่างๆ

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของแบบจำลองและความเท่าเทียมของท่อ
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

This is what makes training giant language models with hundreds of billions of parameters physically possible.

เจาะลึก

โมเดลการทำงานแบบขนานจะแบ่งพาร์ติชันโมเดลเดียวบน GPU หลายตัว ดังนั้นจึงไม่จำเป็นต้องมีอุปกรณ์ใดรองรับน้ำหนักทั้งหมด มีสองรสชาติหลัก ความเท่าเทียมของเทนเซอร์ (ภายในเลเยอร์) จะแบ่งคณิตศาสตร์ภายในเลเยอร์ เช่น การตัดการคูณเมทริกซ์ขนาดใหญ่ข้าม GPU ที่แต่ละส่วนคำนวณเอาต์พุต การขนานกันของไปป์ไลน์ (ระหว่างเลเยอร์) จะกำหนดเลเยอร์ที่ต่อเนื่องกันให้กับ GPU ที่แตกต่างกัน ดังนั้นบล็อกเลเยอร์ 1 จะทำงานบน GPU 0 บล็อก 2 บน GPU 1 และอื่นๆ โดยการเปิดใช้งานจะส่งต่อไปข้างหน้าเหมือนกับสายการประกอบ ความท้าทายของการวางท่อแบบไร้เดียงสาคือ 'ฟองสบู่': ในขณะที่ GPU 0 ใช้งานได้ในชุดแรก แต่ GPU ดาวน์สตรีมจะไม่ได้ใช้งาน การวางท่อจะแบ่งแต่ละชุดออกเป็นชุดย่อยเพื่อให้ทุกขั้นตอนไม่ว่าง และปรับปรุงการใช้งานได้อย่างมาก

การใช้งานจริงในโลกแห่งความเป็นจริง

ฝึกฝนโมเดลสไตล์ GPT ด้วย NVIDIA Megatron-LM ซึ่งจะแยกความสนใจของเลเยอร์หม้อแปลงแต่ละเลเยอร์และเมทริกซ์ฟีดไปข้างหน้าใน GPU ผ่านทางเทนเซอร์แบบขนาน

การใช้ GPipe เพื่อวางเลเยอร์วิสัยทัศน์หรือโมเดลภาษาขนาดยักษ์ที่แตกต่างกันบนตัวเร่งความเร็วที่แยกจากกัน ในขณะที่ไมโครแบทช์จะทำให้พวกมันยุ่ง

ไปป์ไลน์เอ็นจิ้นของ DeepSpeed ​​แบ่งพาร์ติชันโมเดลมูลค่าหลายพันล้านพารามิเตอร์ออกเป็นขั้นตอนต่างๆ ในหลายโหนด

การรวมความขนานของเทนเซอร์ภายในเซิร์ฟเวอร์ 8-GPU เดียว กับการขนานของไปป์ไลน์ซึ่งครอบคลุมเซิร์ฟเวอร์หลายเครื่องเพื่อฝึกโมเดลที่มีขนาดใหญ่เกินไปสำหรับเครื่องเดียว

อนาคตของแบบจำลองและความเท่าเทียมของท่อ

เฟรมเวิร์กทำให้ปัญหาหนักๆ ในการตัดสินใจแบ่งพาร์ติชันโมเดลบนอุปกรณ์ต่างๆ โดยอัตโนมัติมากขึ้นเรื่อยๆ โดยใช้การทำโปรไฟล์และการค้นหาเพื่อสร้างสมดุลระหว่างการประมวลผลและการสื่อสาร คาดว่าจะมีการบูรณาการเทนเซอร์ ไปป์ไลน์ และความเท่าเทียมของข้อมูล (ความเท่าเทียม 3 มิติ) อย่างใกล้ชิดยิ่งขึ้น การตั้งเวลาแบบไมโครแบทช์ที่ชาญฉลาดยิ่งขึ้นเพื่อขจัดปัญหาฟองสบู่ของไปป์ไลน์ และฮาร์ดแวร์ที่มีการเชื่อมต่อระหว่างกันที่เร็วขึ้น ดังนั้นการแยกชั้นเดียวระหว่างชิปจึงมีราคาถูกลงและเป็นกิจวัตรมากขึ้นสำหรับรุ่นที่ใหญ่ขึ้น

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Model and Pipeline Parallelism quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Model and Pipeline Parallelism?

เมื่อโมเดลมีขนาดใหญ่เกินกว่าที่จะพอดีกับ GPU ตัวเดียว ความขนานของโมเดลและไปป์ไลน์จะแยกโมเดลออกจากอุปกรณ์ต่างๆ นี่คือสิ่งที่ทำให้การฝึกโมเดลภาษายักษ์ที่มีพารามิเตอร์นับแสนล้านเป็นไปได้ทางกายภาพ

ปัญหาพื้นฐานอะไรที่ทำให้โมเดลและความขนานของไปป์ไลน์แก้ปัญหาได้

โมเดลและไปป์ไลน์การทำงานแบบขนานแบ่งพาร์ติชันโมเดลระหว่างอุปกรณ์ต่างๆ ช่วยให้สามารถฝึกฝนเครือข่ายที่มีขนาดใหญ่กว่า GPU เดี่ยวๆ ที่จะสามารถรองรับได้

การแบ่งความเท่าเทียมของเทนเซอร์ (ในเลเยอร์) ทำงานอย่างไร

ความเท่าเทียมของเทนเซอร์จะแบ่งการคำนวณภายในเลเยอร์เดียว เช่น การแยกเมทริกซ์น้ำหนักขนาดใหญ่ เพื่อให้ GPU แต่ละตัวคำนวณส่วนหนึ่งของเอาท์พุต

'ฟองสบู่' ในความขนานของไปป์ไลน์ไร้เดียงสาคืออะไร?

ในช่วงต้นของขั้นตอนไปป์ไลน์ ขั้นตอนดาวน์สตรีมยังไม่มีอินพุตและไม่ได้ใช้งาน ทำให้เสียเวลา GPU ช่องว่างว่างนี้เรียกว่าฟอง

ความขนานของไปป์ไลน์ช่วยลดฟองสบู่ได้อย่างไร

การแบ่งแบทช์ออกเป็นไมโครแบทช์จะทำให้ไมโครแบทช์หลาย ๆ อยู่ในขั้นตอนที่แตกต่างกันไปพร้อม ๆ กัน ทำให้ GPU ทั้งหมดยุ่งและลดเวลาว่างลง

เหตุใดความเท่าเทียมของเทนเซอร์จึงถูกเก็บไว้ภายในโหนดเดียว

การขนานของเทนเซอร์จะสื่อสารบ่อยครั้งเพื่อรวมผลลัพธ์เมทริกซ์บางส่วนเข้าด้วยกันใหม่ ดังนั้นจึงถูกวางไว้ที่แบนด์วิดธ์การเชื่อมต่อระหว่างกันสูงสุด ภายในโหนดบน NVLink

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →