DalšíDalší průvodce
Disagregované předvyplnění a dekódování zobrazování
Technický
Technický PRŮVODCE
Expert parallelism distributes a Mixture-of-Experts layer’s feed-forward experts across devices.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It can reduce the expert weights held per device, while routing and communication costs affect whether serving is efficient.
Vrstva Mixture-of-Experts (MoE) nahrazuje jednu velkou dopřednou síť mnoha menšími (odborníky) a navíc router, který vybírá ty nejlepší (často 1 nebo 2) experty na token. Expertní paralelismus (EP) umisťuje různé odborníky na různé GPU. Na základě závěrů router rozhodne, které odborníky každý token potřebuje, pak krok komunikace typu „vše pro všechny“ zamíchá tokeny do GPU, která drží jejich vybrané odborníky, spustí FFN a zamíchá výsledky zpět. To umožňuje modelu mít obrovské celkové parametry (řídké) a přitom aktivovat pouze malý zlomek na token (nízké FLOPy). Používají to modely jako Mixtral 8x7B, DeepSeek-V3 a GPT-OSS. Těžšími částmi jsou vyrovnávání zátěže mezi odborníky a dva nákladné skoky typu all-to-all na vrstvu.
Poskytování Mixtral 8x7B na 2-4 GPU umístěním 2-4 z 8 odborníků na každé zařízení
DeepSeek-V3 používá směrování s omezeným počtem uzlů k omezení počtu uzlů, které experti tokenu pokrývají, čímž se zmenšují všechny meziuzly
Použití vLLM nebo SGLang expertního paralelního režimu k hostování 200B+ řídkého modelu na jediném uzlu s 8 GPU
Kombinace expertního paralelismu s tenzorovým paralelismem na vrstvách pozornosti v hybridním nasazení EP+TP
Očekávejte přísnější společný návrh směrování a hardwaru: sloučená jádra typu dispatch-compute-combine, seskupené GEMM, které spojují mnoho odborníků, a vše pro všechny s podporou NVLink/InfiniBand. Techniky, jako je pomocné bezztrátové vyvažování DeepSeek a směrování s omezením uzlů, snižují provoz mezi uzly. Disagregované servírování bude věnovat „expertní“ GPU odděleně od pozorných GPU a větší počet expertů (stovky) s jemnějším top-k posune MoE k extrémní řídkosti při zachování stejných nákladů na token.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Expert parallelism distributes a Mixture-of-Experts layer’s feed-forward experts across devices. It can reduce the expert weights held per device, while routing and communication costs affect whether serving is efficient.
Expertní paralelismus umisťuje různé odborníky (podsítě FFN vrstvy MoE) na různé GPU, takže každé zařízení obsahuje pouze podmnožinu odborníků.
Každá vrstva MŽP obvykle potřebuje all-to-all pro odeslání tokenů svým expertům a další all-to-all pro spojení výstupů zpět.
Router aktivuje pouze top experty (často 1-2) na token, takže FLOP zůstávají malé, i když má model celkem mnoho expertů.
Vzhledem k tomu, že volby routeru závisí na vstupu, někteří experti obdrží mnohem více tokenů než jiní, což vytváří nerovnováhu zátěže a opozdilce.
Capacity-limited designs can pad or drop work, but dropless approaches also exist. This is an implementation choice rather than a universal serving requirement.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Disagregované předvyplnění a dekódování zobrazování
Technický