Gids-gekoppelde quiz · Moeilijk Niveau

Mixtrale en schaarse modellenquiz

Bekijk Mixtral-routering, expert-activatie, totale versus actieve parameters, en de praktische geheugen- en implementatiethese-en-tegens van schaarse modellen.

Gerelateerde gidspadenMixtrale en schaarse modellen
Vraag 1 van 8

Hoeveel experts verwerken in Mixtral 8x7B elk individueel token?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Hoeveel experts verwerken in Mixtral 8x7B elk individueel token?
    • Twee deskundigen
    • Alle acht deskundigen
    • Precies één deskundige
    • Elke keer een willekeurig getal
  2. Welk onderdeel bepaalt naar welke experts een token wordt gestuurd?
    • De tokenizer
    • De router (gatingnetwerk)
    • De aandachtslaag
    • De inbeddingstabel
  3. Hoewel Mixtral 8x7B in totaal ongeveer 47 miljard parameters heeft, hoeveel zijn er ongeveer per token actief?
    • Ongeveer 47 miljard
    • Ongeveer 7 miljard
    • Ongeveer 13 miljard
    • Ongeveer 70 miljard
  4. What must a Mixtral serving setup account for even when only two experts run per token?
    • Only the active parameters ever need to be stored anywhere
    • All experts must always fit in GPU memory with no offloading option
    • Unused experts can be deleted without changing the checkpoint
    • The full expert weights must be available to the system, with residency or offloading depending on deployment
  5. Onder welke licentie heeft Mistral AI Mixtral uitgebracht, waardoor open adoptie werd gestimuleerd?
    • Apache 2.0
    • Eigendom, uitsluitend closed-source
    • GPLv3
    • Creative Commons Niet-commercieel
  6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
    • Het elimineert de noodzaak voor trainingsgegevens
    • Supervised fine-tuning and direct preference optimization (DPO)
    • Het elimineert de noodzaak voor GPU's volledig
    • Het garandeert dat modellen nooit fouten maken
  7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
    • Twee deskundigen
    • Seven experts
    • Eight experts
    • Twelve experts
  8. Which languages does Mistral list for Mixtral 8x7B?
    • Yes; all unused expert weights are deleted
    • Yes; it means the model is dense with 12.9B total parameters
    • No; it means every parameter is active for every token
    • English, French, Italian, German, and Spanish