VolgendeVolgende gids
Gedesaggregeerde prefill- en decodeerserving
Technisch
Technische GIDS
Expert parallelism distributes a Mixture-of-Experts layer’s feed-forward experts across devices.
Luister naar deze gidsAI-verteld · ~2 min
It can reduce the expert weights held per device, while routing and communication costs affect whether serving is efficient.
Een Mixture-of-Experts (MoE)-laag vervangt één groot feed-forward-netwerk door veel kleinere (experts) plus een router die de top-k (vaak 1 of 2) experts per token kiest. Expert parallellisme (EP) plaatst verschillende experts op verschillende GPU's. Bij gevolgtrekking besluit de router welke experts elk token nodig heeft, waarna een allesomvattende communicatiestap de tokens naar de GPU's met de door hen gekozen experts schudt, de FFN uitvoert en de resultaten terug schudt. Hierdoor kan een model enorme totale parameters hebben (sparse), terwijl slechts een klein deel per token wordt geactiveerd (lage FLOP's). Modellen als Mixtral 8x7B, DeepSeek-V3 en GPT-OSS gebruiken dit. De moeilijkste onderdelen zijn het verdelen van de belasting over de experts en de twee kostbare alles-to-all-hops per laag.
Biedt Mixtral 8x7B over 2-4 GPU's door 2-4 van de 8 experts op elk apparaat te plaatsen
DeepSeek-V3 maakt gebruik van node-limited routing om het aantal knooppunten te beperken dat de experts van een token bestrijken, waardoor de interne knooppunten volledig worden beperkt
Gebruik van vLLM of SGLang expert-parallelmodus om een 200B+ sparse-model te hosten op een enkel 8-GPU-knooppunt
Het combineren van expert-parallellisme met tensor-parallellisme op aandachtslagen in een hybride EP+TP-implementatie
Verwacht een strakker co-ontwerp van routing en hardware: gefuseerde dispatch-compute-combine-kernels, gegroepeerde GEMM's die veel experts groeperen, en alles bij elkaar op het gebied van NVLink/InfiniBand. Technieken zoals DeepSeek's hulp-verliesvrije balancering en node-limited routing verminderen het verkeer tussen knooppunten. Bij gedesaggregeerde dienstverlening worden 'expert'-GPU's toegewezen, gescheiden van aandacht-GPU's, en grotere aantallen experts (honderden) met een fijnere top-k zullen MoE naar extreme spaarzaamheid duwen, terwijl de kosten per token gelijk blijven.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Expert parallelism distributes a Mixture-of-Experts layer’s feed-forward experts across devices. It can reduce the expert weights held per device, while routing and communication costs affect whether serving is efficient.
Expert-parallellisme plaatst verschillende experts (de FFN-subnetwerken van een MoE-laag) op verschillende GPU's, zodat elk apparaat slechts een subset van experts bevat.
Elke MoE-laag heeft doorgaans een alles-op-alles nodig om tokens naar hun experts te verzenden en een ander alles-op-alles om de outputs terug te combineren.
Een router activeert alleen top-k-experts (vaak 1-2) per token, dus FLOP's blijven klein, ook al heeft het model in totaal veel experts.
Omdat de keuzes van de router afhankelijk zijn van de input, ontvangen sommige experts veel meer tokens dan andere, waardoor er onbalans in de belasting en achterblijvers ontstaan.
Capacity-limited designs can pad or drop work, but dropless approaches also exist. This is an implementation choice rather than a universal serving requirement.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Gedesaggregeerde prefill- en decodeerserving
Technisch