Kvíz spojený s průvodcem · Těžko úroveň

Kvíz smíšených a řídkých modelů

Prohlédněte si směrování Mixtral, expertní aktivaci, celkové versus aktivní parametry a praktické kompromisy v oblasti paměti a nasazení u řídkých modelů.

Související vodicí cestyMixtrální a řídké modely
Otázka 1 z 8

Kolik expertů v Mixtral 8x7B zpracovává každý jednotlivý token?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Kolik expertů v Mixtral 8x7B zpracovává každý jednotlivý token?
    • Dva odborníci
    • Všech osm odborníků
    • Přesně jeden odborník
    • Pokaždé náhodné číslo
  2. Která komponenta rozhoduje o tom, kterým expertům je token zaslán?
    • Tokenizer
    • Router (bránová síť)
    • Vrstva pozornosti
    • Vkládací stůl
  3. Ačkoli má Mixtral 8x7B celkem asi 47B parametrů, kolik je zhruba aktivních na token?
    • Asi 47 miliard
    • Asi 7 miliard
    • Asi 13 miliard
    • Asi 70 miliard
  4. What must a Mixtral serving setup account for even when only two experts run per token?
    • Only the active parameters ever need to be stored anywhere
    • All experts must always fit in GPU memory with no offloading option
    • Unused experts can be deleted without changing the checkpoint
    • The full expert weights must be available to the system, with residency or offloading depending on deployment
  5. Pod jakou licencí vydala Mistral AI Mixtral, což podnítilo otevřené přijetí?
    • Apache 2.0
    • Proprietární, pouze s uzavřeným zdrojem
    • GPL v3
    • Creative Commons Nekomerční
  6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
    • Odstraňuje potřebu jakýchkoliv tréninkových dat
    • Supervised fine-tuning and direct preference optimization (DPO)
    • Zcela eliminuje potřebu GPU
    • Zaručuje, že modelky nikdy neudělají chyby
  7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
    • Dva odborníci
    • Seven experts
    • Eight experts
    • Twelve experts
  8. Which languages does Mistral list for Mixtral 8x7B?
    • Yes; all unused expert weights are deleted
    • Yes; it means the model is dense with 12.9B total parameters
    • No; it means every parameter is active for every token
    • English, French, Italian, German, and Spanish