LegközelebbKövetkező útmutató
Modell és csővezeték párhuzamossága
Műszaki
Műszaki ÚTMUTATÓ
Mixtral 8x7B is a sparse mixture-of-experts language model.
Hallgassa meg ezt az útmutatótAI-narrált · ~1 min
A router selects two of eight expert feed-forward networks for each token, while other model components remain part of the deployed checkpoint.
The Mixtral 8x7B model card describes a sparse mixture-of-experts transformer with eight experts and top-two routing per token. It reports about 46.7B total parameters, with about 12.9B active per token. Active parameters affect computation, but conventional inference still needs access to the full expert weights. Results depend on implementation, batch size, context length, and hardware. A smaller active count does not guarantee higher speed or quality than a dense model. Mistral lists English, French, Italian, German, and Spanish as supported languages for this release. The Instruct variant is further optimized with supervised fine-tuning and direct preference optimization; these are release-specific details.
Inspect the released model card for architecture, routing, and license terms.
Estimate serving memory using the full checkpoint size, not only active parameters.
Benchmark a selected checkpoint on target prompts and hardware.
Compare models under the same workload and quality criteria.
Mixture-of-experts research explores conditional computation and scaling. Treat claims about efficiency or future parameter counts as hypotheses until measured on a specified model, hardware, and workload.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Mixtral 8x7B is a sparse mixture-of-experts language model. A router selects two of eight expert feed-forward networks for each token, while other model components remain part of the deployed checkpoint.
A Mixtral a legjobb 2 útválasztást használja: egy útválasztó a nyolc szakértő közül kettőt választ ki az egyes token feldolgozására.
Egy kis kapuhálózat, az úgynevezett router, pontozza a szakértőket, és kiválasztja, hogy melyik kezeli az egyes tokent.
Mivel tokenenként csak két szakértő fut, nagyjából 13 milliárd paraméter aktív, ami egy sokkal kisebb modell sebességét adja.
Sparse routing reduces per-token computation, but the guide says the full checkpoint generally must be available; an implementation may use offloading or another memory strategy.
A Mixtral a megengedő Apache 2.0 licenc alatt jelent meg, lehetővé téve az ingyenes kereskedelmi felhasználást és a finomhangolást.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Modell és csővezeték párhuzamossága
Műszaki