Il prossimoProssima guida
Miscela di esperti LoRA
Tecnico
GUIDA TECNICA
Sparse Mixture of Experts layers use a router to select a subset of expert networks for each token.
Ascolta questa guidaNarrato dall'IA · ~2 min
This separates total expert capacity from the selected expert computation, while memory, routing, and communication still affect cost.
A standard transformer runs every input through the same dense layers, so making the model smarter usually means making every computation more expensive. Mixture of Experts breaks that link. It replaces the big feed-forward layer with many smaller 'expert' networks plus a small 'router' that decides which experts handle each token. Typically only the top 1 or 2 experts fire, so a model can have hundreds of billions of total parameters but only activate a small fraction per token. This is why models like Mixtral 8x7B and Switch Transformer reach high quality without proportionally high inference cost. The trade-off is complexity: all expert weights need accessible storage, potentially spread across devices or offloaded, and the router can misroute or overload some experts, so training and serving require careful routing and resource management.
Mixtral 8x7B utilizza 8 esperti e ne attiva 2 per token, fornendo circa 47 miliardi di parametri totali ma solo ~ 13 miliardi attivi per token per un'inferenza più rapida ed economica.
DeepSeek e Qwen forniscono modelli linguistici MoE di grandi dimensioni che corrispondono a modelli densi sui benchmark mentre funzionano con un calcolo per token inferiore.
I fornitori di Cloud LLM utilizzano MoE in modo che un unico grande modello possa servire molti utenti in modo conveniente, poiché ogni richiesta coinvolge solo pochi esperti.
Il precedente Switch Transformer di Google è stato scalabile fino a oltre un trilione di parametri utilizzando il routing top-1 per mantenere gestibile il calcolo dell'addestramento.
Il Ministero dell’Ambiente sta diventando uno strumento predefinito per i modelli su scala di frontiera perché disaccoppia la capacità dai costi. Aspettatevi esperti a grana più fine, routing più intelligente che consideri più contesto e tecniche migliori per servire enormi modelli sparsi su hardware limitato. La ricerca sta affrontando anche il problema della memoria, poiché tutti gli esperti devono essere caricati anche se pochi corrono, attraverso l'offload e la quantizzazione degli esperti. Con la maturazione di modelli aperti come Mixtral e DeepSeek-MoE, le architetture sparse probabilmente alimenteranno assistenti più efficienti con budget GPU inferiori.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Sparse Mixture of Experts layers use a router to select a subset of expert networks for each token. This separates total expert capacity from the selected expert computation, while memory, routing, and communication still affect cost.
Una piccola rete di controllo impara ad assegnare un punteggio a ciascun esperto per il token e lo instrada a quelli con il punteggio più alto. Il routing viene appreso, non fisso o casuale.
Poiché solo i migliori esperti si attivano per token, il calcolo attivo rimane pressoché costante anche quando il conteggio totale dei parametri aumenta aggiungendo più esperti.
Senza bilanciamento, il router tende a favorire una manciata di esperti. La perdita dell'ausiliario penalizza l'utilizzo non uniforme quindi tutti gli esperti vengono formati.
Con solo 2 esperti su 8 attivi, i parametri attivi per token (~13 miliardi) sono molto inferiori rispetto ai ~47 miliardi totali, riducendo i costi di inferenza.
Sparse activation reduces selected computation, but expert weights must still be stored or fetched, whether resident, distributed, or offloaded.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Miscela di esperti LoRA
Tecnico