Gids-gekoppelde quiz · Moeilijk Niveau
Mixtrale en schaarse modellenquiz
Bekijk Mixtral-routering, expert-activatie, totale versus actieve parameters, en de praktische geheugen- en implementatiethese-en-tegens van schaarse modellen.
Vraag 1 van 8
Hoeveel experts verwerken in Mixtral 8x7B elk individueel token?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Hoeveel experts verwerken in Mixtral 8x7B elk individueel token?
- Twee deskundigen
- Alle acht deskundigen
- Precies één deskundige
- Elke keer een willekeurig getal
- Welk onderdeel bepaalt naar welke experts een token wordt gestuurd?
- De tokenizer
- De router (gatingnetwerk)
- De aandachtslaag
- De inbeddingstabel
- Hoewel Mixtral 8x7B in totaal ongeveer 47 miljard parameters heeft, hoeveel zijn er ongeveer per token actief?
- Ongeveer 47 miljard
- Ongeveer 7 miljard
- Ongeveer 13 miljard
- Ongeveer 70 miljard
- What must a Mixtral serving setup account for even when only two experts run per token?
- Only the active parameters ever need to be stored anywhere
- All experts must always fit in GPU memory with no offloading option
- Unused experts can be deleted without changing the checkpoint
- The full expert weights must be available to the system, with residency or offloading depending on deployment
- Onder welke licentie heeft Mistral AI Mixtral uitgebracht, waardoor open adoptie werd gestimuleerd?
- Apache 2.0
- Eigendom, uitsluitend closed-source
- GPLv3
- Creative Commons Niet-commercieel
- What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
- Het elimineert de noodzaak voor trainingsgegevens
- Supervised fine-tuning and direct preference optimization (DPO)
- Het elimineert de noodzaak voor GPU's volledig
- Het garandeert dat modellen nooit fouten maken
- How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
- Twee deskundigen
- Seven experts
- Eight experts
- Twelve experts
- Which languages does Mistral list for Mixtral 8x7B?
- Yes; all unused expert weights are deleted
- Yes; it means the model is dense with 12.9B total parameters
- No; it means every parameter is active for every token
- English, French, Italian, German, and Spanish