Quiz dotyczący modeli mieszanych i rzadkich

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Ilu ekspertów przetwarza każdy indywidualny token w Mixtral 8x7B?
   • Dwóch ekspertów
   • Wszystkich ośmiu ekspertów
   • Dokładnie jeden ekspert
   • Za każdym razem losowa liczba
2. Jaki komponent decyduje do jakich ekspertów wysyłany jest token?
   • Tokenizator
   • Router (sieć bramkowa)
   • Warstwa uwagi
   • Tabela osadzania
3. Chociaż Mixtral 8x7B ma łącznie około 47B parametrów, ile mniej więcej jest aktywnych na token?
   • Około 47 miliardów
   • Około 7 miliardów
   • Około 13 miliardów
   • Około 70 miliardów
4. What must a Mixtral serving setup account for even when only two experts run per token?
   • Only the active parameters ever need to be stored anywhere
   • All experts must always fit in GPU memory with no offloading option
   • Unused experts can be deleted without changing the checkpoint
   • The full expert weights must be available to the system, with residency or offloading depending on deployment
5. Na jakiej licencji Mistral AI wypuścił Mixtral, napędzając otwartą adopcję?
   • Apache 2.0
   • Tylko zastrzeżone, o zamkniętym źródle
   • GPL v3
   • Creative Commons Niekomercyjny
6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
   • Eliminuje potrzebę jakichkolwiek danych szkoleniowych
   • Supervised fine-tuning and direct preference optimization (DPO)
   • Eliminuje to całkowicie potrzebę stosowania procesorów graficznych
   • Gwarantuje, że modelki nigdy nie popełniają błędów
7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
   • Dwóch ekspertów
   • Seven experts
   • Eight experts
   • Twelve experts
8. Which languages does Mistral list for Mixtral 8x7B?
   • Yes; all unused expert weights are deleted
   • Yes; it means the model is dense with 12.9B total parameters
   • No; it means every parameter is active for every token
   • English, French, Italian, German, and Spanish