Il prossimoProssima guida
Servizio di precompilazione e decodifica disaggregato
Tecnico
GUIDA TECNICA
Expert parallelism distributes a Mixture-of-Experts layer’s feed-forward experts across devices.
Ascolta questa guidaNarrato dall'IA · ~2 min
It can reduce the expert weights held per device, while routing and communication costs affect whether serving is efficient.
Un livello Mixture-of-Experts (MoE) sostituisce una grande rete feed-forward con molte più piccole (esperti) più un router che seleziona i migliori esperti (spesso 1 o 2) per token. Il parallelismo degli esperti (EP) colloca esperti diversi su GPU diverse. Per deduzione, il router decide di quali esperti ha bisogno ciascun token, quindi una fase di comunicazione tutti-a-tutti mescola i token alle GPU che contengono gli esperti scelti, esegue l'FFN e rimescola i risultati. Ciò consente a un modello di avere parametri totali enormi (sparsi) attivando solo una piccola frazione per token (FLOP bassi). Modelli come Mixtral 8x7B, DeepSeek-V3 e GPT-OSS lo utilizzano. Le parti difficili sono il bilanciamento del carico tra esperti e i due costosi hop all-to-all per livello.
Serve Mixtral 8x7B su 2-4 GPU posizionando 2-4 dei suoi 8 esperti su ciascun dispositivo
DeepSeek-V3 utilizza il routing limitato ai nodi per limitare il numero di nodi che gli esperti di un token si estendono, tagliando tutto-a-tutti tra i nodi
Utilizzo della modalità parallela Expert vLLM o SGLang per ospitare un modello sparse da 200 miliardi e più su un singolo nodo da 8 GPU
Combinazione del parallelismo esperto con il parallelismo tensore sugli strati di attenzione in una distribuzione ibrida EP+TP
Aspettatevi una co-progettazione più stretta di routing e hardware: kernel fusi con invio-calcolo-combinazione, GEMM raggruppati che raggruppano molti esperti e tutto-a-tutto compatibile con NVLink/InfiniBand. Tecniche come il bilanciamento ausiliario senza perdite di DeepSeek e il routing limitato ai nodi riducono il traffico tra nodi. La pubblicazione disaggregata dedicherà le GPU "esperte" separate dalle GPU di attenzione, e conteggi di esperti più grandi (centinaia) con top-k più fine spingeranno il MoE verso un'estrema scarsità mantenendo invariato il costo per token.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Expert parallelism distributes a Mixture-of-Experts layer’s feed-forward experts across devices. It can reduce the expert weights held per device, while routing and communication costs affect whether serving is efficient.
Il parallelismo degli esperti colloca esperti diversi (le sottoreti FFN di uno strato MoE) su GPU diverse, quindi ciascun dispositivo contiene solo un sottoinsieme di esperti.
Ogni livello MoE in genere necessita di un all-to-all per inviare i token ai propri esperti e di un altro all-to-all per combinare nuovamente gli output.
Un router attiva solo i migliori esperti (spesso 1-2) per token, quindi i FLOP rimangono piccoli anche se il modello ha molti esperti in totale.
Poiché le scelte del router dipendono dall'input, alcuni esperti ricevono molti più token di altri, creando squilibri di carico e ritardatari.
Capacity-limited designs can pad or drop work, but dropless approaches also exist. This is an implementation choice rather than a universal serving requirement.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Servizio di precompilazione e decodifica disaggregato
Tecnico