Kvíz spojený s průvodcem · Těžko úroveň
Kvíz smíšených a řídkých modelů
Prohlédněte si směrování Mixtral, expertní aktivaci, celkové versus aktivní parametry a praktické kompromisy v oblasti paměti a nasazení u řídkých modelů.
Otázka 1 z 8
Kolik expertů v Mixtral 8x7B zpracovává každý jednotlivý token?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Kolik expertů v Mixtral 8x7B zpracovává každý jednotlivý token?
- Dva odborníci
- Všech osm odborníků
- Přesně jeden odborník
- Pokaždé náhodné číslo
- Která komponenta rozhoduje o tom, kterým expertům je token zaslán?
- Tokenizer
- Router (bránová síť)
- Vrstva pozornosti
- Vkládací stůl
- Ačkoli má Mixtral 8x7B celkem asi 47B parametrů, kolik je zhruba aktivních na token?
- Asi 47 miliard
- Asi 7 miliard
- Asi 13 miliard
- Asi 70 miliard
- What must a Mixtral serving setup account for even when only two experts run per token?
- Only the active parameters ever need to be stored anywhere
- All experts must always fit in GPU memory with no offloading option
- Unused experts can be deleted without changing the checkpoint
- The full expert weights must be available to the system, with residency or offloading depending on deployment
- Pod jakou licencí vydala Mistral AI Mixtral, což podnítilo otevřené přijetí?
- Apache 2.0
- Proprietární, pouze s uzavřeným zdrojem
- GPL v3
- Creative Commons Nekomerční
- What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
- Odstraňuje potřebu jakýchkoliv tréninkových dat
- Supervised fine-tuning and direct preference optimization (DPO)
- Zcela eliminuje potřebu GPU
- Zaručuje, že modelky nikdy neudělají chyby
- How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
- Dva odborníci
- Seven experts
- Eight experts
- Twelve experts
- Which languages does Mistral list for Mixtral 8x7B?
- Yes; all unused expert weights are deleted
- Yes; it means the model is dense with 12.9B total parameters
- No; it means every parameter is active for every token
- English, French, Italian, German, and Spanish