Κουίζ Mixtral και Sparse Models

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Στο Mixtral 8x7B, πόσοι ειδικοί επεξεργάζονται κάθε μεμονωμένο διακριτικό;
   • Δύο ειδικοί
   • Και οι οκτώ ειδικοί
   • Ακριβώς ένας ειδικός
   • Ένας τυχαίος αριθμός κάθε φορά
2. Ποιο στοιχείο αποφασίζει σε ποιους ειδικούς αποστέλλεται ένα διακριτικό;
   • Το tokenizer
   • Ο δρομολογητής (δίκτυο πύλης)
   • Το στρώμα της προσοχής
   • Το τραπέζι ενσωμάτωσης
3. Αν και το Mixtral 8x7B έχει περίπου 47B συνολικές παραμέτρους, πόσες περίπου είναι ενεργές ανά διακριτικό;
   • Περίπου 47 δις
   • Περίπου 7 δις
   • Περίπου 13 δις
   • Περίπου 70 δις
4. What must a Mixtral serving setup account for even when only two experts run per token?
   • Only the active parameters ever need to be stored anywhere
   • All experts must always fit in GPU memory with no offloading option
   • Unused experts can be deleted without changing the checkpoint
   • The full expert weights must be available to the system, with residency or offloading depending on deployment
5. Με ποια άδεια κυκλοφόρησε το Mistral AI το Mixtral, τροφοδοτώντας την ανοιχτή υιοθεσία;
   • Apache 2.0
   • Ιδιόκτητο, μόνο κλειστού κώδικα
   • GPL v3
   • Creative Commons Μη Εμπορικό
6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
   • Καταργεί την ανάγκη για τυχόν δεδομένα εκπαίδευσης
   • Supervised fine-tuning and direct preference optimization (DPO)
   • Εξαλείφει εντελώς την ανάγκη για GPU
   • Εγγυάται ότι τα μοντέλα δεν κάνουν ποτέ λάθη
7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
   • Δύο ειδικοί
   • Seven experts
   • Eight experts
   • Twelve experts
8. Which languages does Mistral list for Mixtral 8x7B?
   • Yes; all unused expert weights are deleted
   • Yes; it means the model is dense with 12.9B total parameters
   • No; it means every parameter is active for every token
   • English, French, Italian, German, and Spanish