Il prossimoProssima guida
Parallelismo del modello e della pipeline
Tecnico
GUIDA TECNICA
Mixtral 8x7B is a sparse mixture-of-experts language model.
Ascolta questa guidaNarrato dall'IA · ~1 min
A router selects two of eight expert feed-forward networks for each token, while other model components remain part of the deployed checkpoint.
The Mixtral 8x7B model card describes a sparse mixture-of-experts transformer with eight experts and top-two routing per token. It reports about 46.7B total parameters, with about 12.9B active per token. Active parameters affect computation, but conventional inference still needs access to the full expert weights. Results depend on implementation, batch size, context length, and hardware. A smaller active count does not guarantee higher speed or quality than a dense model. Mistral lists English, French, Italian, German, and Spanish as supported languages for this release. The Instruct variant is further optimized with supervised fine-tuning and direct preference optimization; these are release-specific details.
Inspect the released model card for architecture, routing, and license terms.
Estimate serving memory using the full checkpoint size, not only active parameters.
Benchmark a selected checkpoint on target prompts and hardware.
Compare models under the same workload and quality criteria.
Mixture-of-experts research explores conditional computation and scaling. Treat claims about efficiency or future parameter counts as hypotheses until measured on a specified model, hardware, and workload.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Mixtral 8x7B is a sparse mixture-of-experts language model. A router selects two of eight expert feed-forward networks for each token, while other model components remain part of the deployed checkpoint.
Mixtral utilizza il routing top-2: un router seleziona due degli otto esperti per elaborare ciascun token.
Una piccola rete di controllo, chiamata router, assegna un punteggio agli esperti e seleziona quali gestiscono ciascun token.
Poiché per token vengono eseguiti solo due esperti, sono attivi circa 13 miliardi di parametri, il che garantisce la velocità di un modello molto più piccolo.
Sparse routing reduces per-token computation, but the guide says the full checkpoint generally must be available; an implementation may use offloading or another memory strategy.
Mixtral è stato rilasciato sotto la licenza permissiva Apache 2.0, consentendo l'uso commerciale gratuito e la messa a punto.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Parallelismo del modello e della pipeline
Tecnico