LegközelebbKövetkező útmutató
Bontott előtöltési és dekódolási szolgáltatás
Műszaki
Műszaki ÚTMUTATÓ
Expert parallelism distributes a Mixture-of-Experts layer’s feed-forward experts across devices.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It can reduce the expert weights held per device, while routing and communication costs affect whether serving is efficient.
A Mixture-of-Experts (MoE) réteg egy nagy előrecsatolt hálózatot helyettesít sok kisebb hálózattal (szakértővel), valamint egy útválasztóval, amely tokenenként kiválasztja a legjobb k (gyakran 1 vagy 2) szakértőt. A szakértői párhuzamosság (EP) különböző szakértőket helyez a különböző GPU-kra. Következtetésként az útválasztó eldönti, hogy az egyes tokeneknek mely szakértőkre van szüksége, majd egy teljes kommunikációs lépéssel a tokeneket a kiválasztott szakértőket tartó GPU-khoz keverik, futtatják az FFN-t, és visszakeverik az eredményeket. Ez lehetővé teszi, hogy egy modell hatalmas összes paraméterrel rendelkezzen (ritka), miközben tokenenként csak egy kis töredéket aktivál (alacsony FLOP). Az olyan modellek, mint a Mixtral 8x7B, a DeepSeek-V3 és a GPT-OSS használják ezt. A kemény részek a szakértők közötti terheléselosztás és a rétegenkénti két költséges, mindenre kiterjedő ugrás.
A Mixtral 8x7B kiszolgálása 2-4 GPU-n keresztül úgy, hogy a 8 szakértőből 2-4 minden eszközre kerül
A DeepSeek-V3 csomópont-korlátozott útválasztással korlátozza, hogy egy token szakértői hány csomópontot fedjenek le, így a csomópontok közötti csomópontokat mindenre vágják
A vLLM vagy az SGLang szakértői párhuzamos mód használata 200 milliárd feletti ritka modell elhelyezésére egyetlen 8 GPU-s csomóponton
A szakértői párhuzamosság és a tenzorpárhuzam kombinálása figyelemrétegeken egy hibrid EP+TP telepítésben
Az útválasztás és a hardver szorosabb közös tervezésére számíthat: egybeolvadt küldés-számítás-kombináció kernelek, csoportosított GEMM-ek, amelyek sok szakértőt tömörítenek, és az NVLink/InfiniBand-tudatos all-to-all. Az olyan technikák, mint a DeepSeek kiegészítő veszteségmentes kiegyensúlyozása és csomópont-korlátozott útválasztás, csökkentik a csomópontok közötti forgalmat. A lebontott kiszolgálás a „szakértői” GPU-kat különválasztja a figyelemfelkeltő GPU-któl, a nagyobb szakértői létszámok (százak) pedig finomabb top-k-vel a rendkívül ritkaság felé tolják a MoE-t, miközben a tokenenkénti költségek változatlanok maradnak.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Expert parallelism distributes a Mixture-of-Experts layer’s feed-forward experts across devices. It can reduce the expert weights held per device, while routing and communication costs affect whether serving is efficient.
A szakértői párhuzamosság különböző szakértőket (egy MoE-réteg FFN-alhálózatait) helyezi el a különböző GPU-kon, így minden eszközön csak a szakértők egy része van.
Minden MoE-rétegnek általában szüksége van egy all-to-all-ra, hogy a tokeneket elküldje szakértőinek, és egy másik all-to-all-ra, hogy visszakombinálja a kimeneteket.
Egy útválasztó csak top k szakértőt (gyakran 1-2) aktivál tokenenként, így a FLOP-ok kicsik maradnak, bár a modellben összesen sok szakértő van.
Mivel az útválasztó választásai a bemenettől függenek, egyes szakértők sokkal több tokent kapnak, mint mások, ami terhelési egyensúlyhiányt és vándorlást okoz.
Capacity-limited designs can pad or drop work, but dropless approaches also exist. This is an implementation choice rather than a universal serving requirement.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Bontott előtöltési és dekódolási szolgáltatás
Műszaki