Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Mixtral és Sparse Models kvíz

Review Mixtral routing, expert activation, total versus active parameters, and the practical memory and deployment trade-offs of sparse models.

Kapcsolódó útmutató utakMixtral és ritka modellek
kérdés 1 -ból 8

A Mixtral 8x7B-ben hány szakértő dolgozza fel az egyes tokent?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. A Mixtral 8x7B-ben hány szakértő dolgozza fel az egyes tokent?
    • Két szakértő
    • Mind a nyolc szakértő
    • Pontosan egy szakértő
    • Minden alkalommal egy véletlen szám
  2. Melyik komponens dönti el, hogy mely szakértőknek küldjék el a tokent?
    • A tokenizátor
    • A router (kapuhálózat)
    • A figyelem réteg
    • A beágyazó asztal
  3. Bár a Mixtral 8x7B összesen körülbelül 47 milliárd paraméterrel rendelkezik, nagyjából hány aktív tokenenként?
    • Körülbelül 47 milliárd
    • Körülbelül 7 milliárd
    • Körülbelül 13 milliárd
    • Körülbelül 70 milliárd
  4. What must a Mixtral serving setup account for even when only two experts run per token?
    • Only the active parameters ever need to be stored anywhere
    • All experts must always fit in GPU memory with no offloading option
    • Unused experts can be deleted without changing the checkpoint
    • The full expert weights must be available to the system, with residency or offloading depending on deployment
  5. Melyik licenc alapján adta ki a Mistral AI a Mixtral-t, elősegítve a nyílt örökbefogadást?
    • Apache 2.0
    • Saját tulajdonú, csak zárt forráskódú
    • GPL v3
    • Creative Commons, nem kereskedelmi
  6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
    • Megszünteti az edzési adatok szükségességét
    • Supervised fine-tuning and direct preference optimization (DPO)
    • Teljesen kiküszöböli a GPU-k szükségességét
    • Garantálja, hogy a modellek soha nem hibáznak
  7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
    • Két szakértő
    • Seven experts
    • Eight experts
    • Twelve experts
  8. Which languages does Mistral list for Mixtral 8x7B?
    • Yes; all unused expert weights are deleted
    • Yes; it means the model is dense with 12.9B total parameters
    • No; it means every parameter is active for every token
    • English, French, Italian, German, and Spanish