ต่อไปคำแนะนำต่อไป
ความเท่าเทียมของเทนเซอร์สำหรับรุ่นขนาดใหญ่
เทคนิค
คู่มือทางเทคนิค
เมื่อโมเดลมีขนาดใหญ่เกินกว่าที่จะพอดีกับ GPU ตัวเดียว ความขนานของโมเดลและไปป์ไลน์จะแยกโมเดลออกจากอุปกรณ์ต่างๆ
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
This is what makes training giant language models with hundreds of billions of parameters physically possible.
โมเดลการทำงานแบบขนานจะแบ่งพาร์ติชันโมเดลเดียวบน GPU หลายตัว ดังนั้นจึงไม่จำเป็นต้องมีอุปกรณ์ใดรองรับน้ำหนักทั้งหมด มีสองรสชาติหลัก ความเท่าเทียมของเทนเซอร์ (ภายในเลเยอร์) จะแบ่งคณิตศาสตร์ภายในเลเยอร์ เช่น การตัดการคูณเมทริกซ์ขนาดใหญ่ข้าม GPU ที่แต่ละส่วนคำนวณเอาต์พุต การขนานกันของไปป์ไลน์ (ระหว่างเลเยอร์) จะกำหนดเลเยอร์ที่ต่อเนื่องกันให้กับ GPU ที่แตกต่างกัน ดังนั้นบล็อกเลเยอร์ 1 จะทำงานบน GPU 0 บล็อก 2 บน GPU 1 และอื่นๆ โดยการเปิดใช้งานจะส่งต่อไปข้างหน้าเหมือนกับสายการประกอบ ความท้าทายของการวางท่อแบบไร้เดียงสาคือ 'ฟองสบู่': ในขณะที่ GPU 0 ใช้งานได้ในชุดแรก แต่ GPU ดาวน์สตรีมจะไม่ได้ใช้งาน การวางท่อจะแบ่งแต่ละชุดออกเป็นชุดย่อยเพื่อให้ทุกขั้นตอนไม่ว่าง และปรับปรุงการใช้งานได้อย่างมาก
ฝึกฝนโมเดลสไตล์ GPT ด้วย NVIDIA Megatron-LM ซึ่งจะแยกความสนใจของเลเยอร์หม้อแปลงแต่ละเลเยอร์และเมทริกซ์ฟีดไปข้างหน้าใน GPU ผ่านทางเทนเซอร์แบบขนาน
การใช้ GPipe เพื่อวางเลเยอร์วิสัยทัศน์หรือโมเดลภาษาขนาดยักษ์ที่แตกต่างกันบนตัวเร่งความเร็วที่แยกจากกัน ในขณะที่ไมโครแบทช์จะทำให้พวกมันยุ่ง
ไปป์ไลน์เอ็นจิ้นของ DeepSpeed แบ่งพาร์ติชันโมเดลมูลค่าหลายพันล้านพารามิเตอร์ออกเป็นขั้นตอนต่างๆ ในหลายโหนด
การรวมความขนานของเทนเซอร์ภายในเซิร์ฟเวอร์ 8-GPU เดียว กับการขนานของไปป์ไลน์ซึ่งครอบคลุมเซิร์ฟเวอร์หลายเครื่องเพื่อฝึกโมเดลที่มีขนาดใหญ่เกินไปสำหรับเครื่องเดียว
เฟรมเวิร์กทำให้ปัญหาหนักๆ ในการตัดสินใจแบ่งพาร์ติชันโมเดลบนอุปกรณ์ต่างๆ โดยอัตโนมัติมากขึ้นเรื่อยๆ โดยใช้การทำโปรไฟล์และการค้นหาเพื่อสร้างสมดุลระหว่างการประมวลผลและการสื่อสาร คาดว่าจะมีการบูรณาการเทนเซอร์ ไปป์ไลน์ และความเท่าเทียมของข้อมูล (ความเท่าเทียม 3 มิติ) อย่างใกล้ชิดยิ่งขึ้น การตั้งเวลาแบบไมโครแบทช์ที่ชาญฉลาดยิ่งขึ้นเพื่อขจัดปัญหาฟองสบู่ของไปป์ไลน์ และฮาร์ดแวร์ที่มีการเชื่อมต่อระหว่างกันที่เร็วขึ้น ดังนั้นการแยกชั้นเดียวระหว่างชิปจึงมีราคาถูกลงและเป็นกิจวัตรมากขึ้นสำหรับรุ่นที่ใหญ่ขึ้น
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
เมื่อโมเดลมีขนาดใหญ่เกินกว่าที่จะพอดีกับ GPU ตัวเดียว ความขนานของโมเดลและไปป์ไลน์จะแยกโมเดลออกจากอุปกรณ์ต่างๆ นี่คือสิ่งที่ทำให้การฝึกโมเดลภาษายักษ์ที่มีพารามิเตอร์นับแสนล้านเป็นไปได้ทางกายภาพ
โมเดลและไปป์ไลน์การทำงานแบบขนานแบ่งพาร์ติชันโมเดลระหว่างอุปกรณ์ต่างๆ ช่วยให้สามารถฝึกฝนเครือข่ายที่มีขนาดใหญ่กว่า GPU เดี่ยวๆ ที่จะสามารถรองรับได้
ความเท่าเทียมของเทนเซอร์จะแบ่งการคำนวณภายในเลเยอร์เดียว เช่น การแยกเมทริกซ์น้ำหนักขนาดใหญ่ เพื่อให้ GPU แต่ละตัวคำนวณส่วนหนึ่งของเอาท์พุต
ในช่วงต้นของขั้นตอนไปป์ไลน์ ขั้นตอนดาวน์สตรีมยังไม่มีอินพุตและไม่ได้ใช้งาน ทำให้เสียเวลา GPU ช่องว่างว่างนี้เรียกว่าฟอง
การแบ่งแบทช์ออกเป็นไมโครแบทช์จะทำให้ไมโครแบทช์หลาย ๆ อยู่ในขั้นตอนที่แตกต่างกันไปพร้อม ๆ กัน ทำให้ GPU ทั้งหมดยุ่งและลดเวลาว่างลง
การขนานของเทนเซอร์จะสื่อสารบ่อยครั้งเพื่อรวมผลลัพธ์เมทริกซ์บางส่วนเข้าด้วยกันใหม่ ดังนั้นจึงถูกวางไว้ที่แบนด์วิดธ์การเชื่อมต่อระหว่างกันสูงสุด ภายในโหนดบน NVLink
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
ความเท่าเทียมของเทนเซอร์สำหรับรุ่นขนาดใหญ่
เทคนิค