Quiz collegato alla guida · Difficile Livello

Quiz sui modelli misti e sparsi

Esamina il routing Mixtral, l'attivazione avanzata, i parametri totali rispetto a quelli attivi e i compromessi pratici in termini di memoria e distribuzione dei modelli sparsi.

Percorsi guida correlatiModelli Mixtral e Sparsi
Domanda 1 di 8

In Mixtral 8x7B quanti esperti elaborano ogni singolo token?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. In Mixtral 8x7B quanti esperti elaborano ogni singolo token?
    • Due esperti
    • Tutti e otto gli esperti
    • Esattamente un esperto
    • Ogni volta un numero casuale
  2. Quale componente decide a quali esperti viene inviato un token?
    • Il tokenizzatore
    • Il router (rete di accesso)
    • Lo strato di attenzione
    • La tabella di incorporamento
  3. Sebbene Mixtral 8x7B abbia circa 47 miliardi di parametri totali, quanti sono all'incirca attivi per token?
    • Circa 47 miliardi
    • Circa 7 miliardi
    • Circa 13 miliardi
    • Circa 70 miliardi
  4. What must a Mixtral serving setup account for even when only two experts run per token?
    • Only the active parameters ever need to be stored anywhere
    • All experts must always fit in GPU memory with no offloading option
    • Unused experts can be deleted without changing the checkpoint
    • The full expert weights must be available to the system, with residency or offloading depending on deployment
  5. Con quale licenza Mistral AI ha rilasciato Mixtral, alimentando l'adozione aperta?
    • Apache 2.0
    • Solo proprietario e closed source
    • GPL v3
    • Creative Commons non commerciale
  6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
    • Elimina la necessità di dati di addestramento
    • Supervised fine-tuning and direct preference optimization (DPO)
    • Elimina completamente la necessità di GPU
    • Garantisce che i modelli non commettano mai errori
  7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
    • Due esperti
    • Seven experts
    • Eight experts
    • Twelve experts
  8. Which languages does Mistral list for Mixtral 8x7B?
    • Yes; all unused expert weights are deleted
    • Yes; it means the model is dense with 12.9B total parameters
    • No; it means every parameter is active for every token
    • English, French, Italian, German, and Spanish