Quiz collegato alla guida · Difficile Livello
Quiz sui modelli misti e sparsi
Esamina il routing Mixtral, l'attivazione avanzata, i parametri totali rispetto a quelli attivi e i compromessi pratici in termini di memoria e distribuzione dei modelli sparsi.
Domanda 1 di 8
In Mixtral 8x7B quanti esperti elaborano ogni singolo token?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In Mixtral 8x7B quanti esperti elaborano ogni singolo token?
- Due esperti
- Tutti e otto gli esperti
- Esattamente un esperto
- Ogni volta un numero casuale
- Quale componente decide a quali esperti viene inviato un token?
- Il tokenizzatore
- Il router (rete di accesso)
- Lo strato di attenzione
- La tabella di incorporamento
- Sebbene Mixtral 8x7B abbia circa 47 miliardi di parametri totali, quanti sono all'incirca attivi per token?
- Circa 47 miliardi
- Circa 7 miliardi
- Circa 13 miliardi
- Circa 70 miliardi
- What must a Mixtral serving setup account for even when only two experts run per token?
- Only the active parameters ever need to be stored anywhere
- All experts must always fit in GPU memory with no offloading option
- Unused experts can be deleted without changing the checkpoint
- The full expert weights must be available to the system, with residency or offloading depending on deployment
- Con quale licenza Mistral AI ha rilasciato Mixtral, alimentando l'adozione aperta?
- Apache 2.0
- Solo proprietario e closed source
- GPL v3
- Creative Commons non commerciale
- What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
- Elimina la necessità di dati di addestramento
- Supervised fine-tuning and direct preference optimization (DPO)
- Elimina completamente la necessità di GPU
- Garantisce che i modelli non commettano mai errori
- How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
- Due esperti
- Seven experts
- Eight experts
- Twelve experts
- Which languages does Mistral list for Mixtral 8x7B?
- Yes; all unused expert weights are deleted
- Yes; it means the model is dense with 12.9B total parameters
- No; it means every parameter is active for every token
- English, French, Italian, German, and Spanish