Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Mixtral és Sparse Models kvíz
Review Mixtral routing, expert activation, total versus active parameters, and the practical memory and deployment trade-offs of sparse models.
kérdés 1 -ból 8
A Mixtral 8x7B-ben hány szakértő dolgozza fel az egyes tokent?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- A Mixtral 8x7B-ben hány szakértő dolgozza fel az egyes tokent?
- Két szakértő
- Mind a nyolc szakértő
- Pontosan egy szakértő
- Minden alkalommal egy véletlen szám
- Melyik komponens dönti el, hogy mely szakértőknek küldjék el a tokent?
- A tokenizátor
- A router (kapuhálózat)
- A figyelem réteg
- A beágyazó asztal
- Bár a Mixtral 8x7B összesen körülbelül 47 milliárd paraméterrel rendelkezik, nagyjából hány aktív tokenenként?
- Körülbelül 47 milliárd
- Körülbelül 7 milliárd
- Körülbelül 13 milliárd
- Körülbelül 70 milliárd
- What must a Mixtral serving setup account for even when only two experts run per token?
- Only the active parameters ever need to be stored anywhere
- All experts must always fit in GPU memory with no offloading option
- Unused experts can be deleted without changing the checkpoint
- The full expert weights must be available to the system, with residency or offloading depending on deployment
- Melyik licenc alapján adta ki a Mistral AI a Mixtral-t, elősegítve a nyílt örökbefogadást?
- Apache 2.0
- Saját tulajdonú, csak zárt forráskódú
- GPL v3
- Creative Commons, nem kereskedelmi
- What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
- Megszünteti az edzési adatok szükségességét
- Supervised fine-tuning and direct preference optimization (DPO)
- Teljesen kiküszöböli a GPU-k szükségességét
- Garantálja, hogy a modellek soha nem hibáznak
- How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
- Két szakértő
- Seven experts
- Eight experts
- Twelve experts
- Which languages does Mistral list for Mixtral 8x7B?
- Yes; all unused expert weights are deleted
- Yes; it means the model is dense with 12.9B total parameters
- No; it means every parameter is active for every token
- English, French, Italian, German, and Spanish