Quiz Mixture of Experts

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Σε ένα επίπεδο Mixture of Experts, τι αποφασίζει ποιοι ειδικοί επεξεργάζονται ένα δεδομένο διακριτικό;
   • Ένας μικρός μαθημένος δρομολογητής (δίκτυο πύλης) που βαθμολογεί ειδικούς
   • Ένας σταθερός πίνακας αναζήτησης σετ πριν από την προπόνηση
   • Το μήκος προτροπής του χρήστη
   • Μια τυχαία κλήρωση σε κάθε βήμα
2. Γιατί μπορεί ένα μοντέλο MoE να έχει πολύ περισσότερες συνολικές παραμέτρους από ένα πυκνό μοντέλο χωρίς αντίστοιχη αύξηση στο κόστος ανά διακριτικό;
   • Συμπιέζει τις παραμέτρους σε ένα ενιαίο κοινό βάρος
   • Παρακάμπτει εντελώς τα επίπεδα προσοχής
   • Μόνο λίγοι ειδικοί (top-k) ενεργοποιούνται για κάθε διακριτικό
   • Τρέχει κάθε ειδικό, αλλά υπολογίζει τον μέσο όρο των αποτελεσμάτων
3. Ποιο πρόβλημα αντιμετωπίζει μια απώλεια εξισορρόπησης φορτίου (βοηθητική) κατά τη διάρκεια της εκπαίδευσης στο MoE;
   • Τα διακριτικά είναι πολύ μεγάλα για το παράθυρο περιβάλλοντος
   • Ο δρομολογητής χρησιμοποιεί υπερβολικά λίγους ειδικούς και λιμοκτονεί τους υπόλοιπους
   • Διαβαθμίσεις που εξαφανίζονται στα κεφάλια προσοχής
   • Υπερπροσαρμογή στο σετ επικύρωσης
4. Το Mixtral 8x7B ενεργοποιεί 2 από τους 8 ειδικούς του ανά διακριτικό. Τι σημαίνει αυτό για τον υπολογισμό του σε σχέση με το μέγεθός του;
   • Χρησιμοποιεί και τους 8 υπολογισμούς των ειδικών σε κάθε διακριτικό
   • Έχει λιγότερες συνολικές παραμέτρους από ένα μοντέλο πυκνότητας 7Β
   • Δεν μπορεί να τρέξει καθόλου σε GPU
   • Ο ενεργός υπολογισμός του ανά διακριτικό είναι πολύ μικρότερος από ό,τι υποδηλώνει ο συνολικός αριθμός παραμέτρων του
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0,5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters