ต่อไปคำแนะนำต่อไป
การเติมข้อมูลล่วงหน้าแบบแยกส่วนและการแสดงการถอดรหัส
เทคนิค
คู่มือทางเทคนิค
Expert parallelism distributes a Mixture-of-Experts layer’s feed-forward experts across devices.
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
It can reduce the expert weights held per device, while routing and communication costs affect whether serving is efficient.
เลเยอร์ Mixture-of-Experts (MoE) จะแทนที่เครือข่ายฟีดฟอร์เวิร์ดขนาดใหญ่หนึ่งเครือข่ายด้วยเครือข่ายย่อย (ผู้เชี่ยวชาญ) จำนวนมาก พร้อมเราเตอร์ที่เลือกผู้เชี่ยวชาญระดับท็อป k (มักจะ 1 หรือ 2) ต่อโทเค็น ความเท่าเทียมของผู้เชี่ยวชาญ (EP) วางผู้เชี่ยวชาญที่แตกต่างกันบน GPU ที่แตกต่างกัน ในการอนุมาน เราเตอร์จะตัดสินใจว่าผู้เชี่ยวชาญแต่ละโทเค็นต้องการ จากนั้นขั้นตอนการสื่อสารแบบ all-to-all จะสับโทเค็นไปยัง GPU ที่ถือผู้เชี่ยวชาญที่พวกเขาเลือกไว้ รัน FFN และสับเปลี่ยนผลลัพธ์กลับ ซึ่งช่วยให้โมเดลมีพารามิเตอร์รวมจำนวนมาก (เบาบาง) ในขณะที่เปิดใช้งานเพียงส่วนเล็กๆ ต่อโทเค็น (FLOP ต่ำ) โมเดลอย่าง Mixtral 8x7B, DeepSeek-V3 และ GPT-OSS ใช้สิ่งนี้ ส่วนที่แข็งคือการปรับสมดุลโหลดระหว่างผู้เชี่ยวชาญและการกระโดดแบบ all-to-all สองรายการต่อเลเยอร์ที่มีค่าใช้จ่ายสูง
ให้บริการ Mixtral 8x7B บน 2-4 GPU โดยการวางผู้เชี่ยวชาญ 2-4 คนจาก 8 คนในแต่ละอุปกรณ์
DeepSeek-V3 ใช้การกำหนดเส้นทางแบบจำกัดโหนดเพื่อจำกัดจำนวนโหนดที่ผู้เชี่ยวชาญของโทเค็นขยาย และลดระหว่างโหนดแบบทั้งหมดต่อทั้งหมด
การใช้โหมดผู้เชี่ยวชาญคู่ขนาน vLLM หรือ SGLang เพื่อโฮสต์โมเดลแบบกระจาย 200B+ บนโหนด 8-GPU เดียว
การรวมความเท่าเทียมของผู้เชี่ยวชาญเข้ากับความเท่าเทียมของเทนเซอร์บนเลเยอร์ความสนใจในการปรับใช้ EP+TP แบบไฮบริด
คาดว่าจะมีการออกแบบร่วมกันของการกำหนดเส้นทางและฮาร์ดแวร์ที่เข้มงวดมากขึ้น: รวมเคอร์เนลการจัดส่ง-คำนวณ-รวม, GEMM ที่จัดกลุ่มซึ่งรวบรวมผู้เชี่ยวชาญจำนวนมาก และ NVLink/InfiniBand ที่รับรู้แบบ all-to-all เทคนิคต่างๆ เช่น การปรับสมดุลแบบไม่มีการสูญเสียเสริมของ DeepSeek และการกำหนดเส้นทางแบบจำกัดโหนดจะช่วยลดการรับส่งข้อมูลข้ามโหนด การให้บริการแบบแยกส่วนจะจัดสรร GPU 'ผู้เชี่ยวชาญ' แยกจาก GPU ที่สนใจ และจำนวนผู้เชี่ยวชาญที่มากขึ้น (หลายร้อย) พร้อมด้วย top-k ที่ละเอียดกว่าจะผลักดัน MoE ไปสู่ความกระจัดกระจายอย่างมากในขณะที่รักษาต้นทุนต่อโทเค็นให้คงที่
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
Expert parallelism distributes a Mixture-of-Experts layer’s feed-forward experts across devices. It can reduce the expert weights held per device, while routing and communication costs affect whether serving is efficient.
การขนานของผู้เชี่ยวชาญจะวางผู้เชี่ยวชาญที่แตกต่างกัน (เครือข่ายย่อย FFN ของเลเยอร์ MoE) บน GPU ที่แตกต่างกัน ดังนั้นอุปกรณ์แต่ละชิ้นจึงมีเพียงผู้เชี่ยวชาญบางส่วนเท่านั้น
โดยทั่วไปแต่ละเลเยอร์ MoE จะต้องมีแบบ all-to-all เพื่อส่งโทเค็นไปยังผู้เชี่ยวชาญ และอีกชั้นหนึ่งแบบ all-to-all เพื่อรวมเอาต์พุตกลับ
เราเตอร์เปิดใช้งานเฉพาะผู้เชี่ยวชาญระดับ Top-K (มักจะ 1-2) ต่อโทเค็น ดังนั้น FLOP จึงมีขนาดเล็ก แม้ว่าโมเดลดังกล่าวจะมีผู้เชี่ยวชาญจำนวนมากก็ตาม
เนื่องจากตัวเลือกของเราเตอร์ขึ้นอยู่กับอินพุต ผู้เชี่ยวชาญบางคนจึงได้รับโทเค็นมากกว่าคนอื่นๆ ทำให้เกิดความไม่สมดุลของโหลดและสะดุด
Capacity-limited designs can pad or drop work, but dropless approaches also exist. This is an implementation choice rather than a universal serving requirement.
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การเติมข้อมูลล่วงหน้าแบบแยกส่วนและการแสดงการถอดรหัส
เทคนิค