Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Μίγμα LoRA Experts Quiz

Ελέγχει τις ενημερώσεις χαμηλής κατάταξης του LoRA, την πύλη ειδικών, τα παγωμένα βάρη βάσης, τις δεξιότητες σύνθεσης και τη δρομολόγηση ανά στρώμα για μικτούς προσαρμογείς.

Σχετικές διαδρομές οδηγώνΜίγμα Ειδικών Lora
Ερώτηση 1 του 8

Σε τι αναφέρεται το μέρος «LoRA» του Mixture of LoRA Experts;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Σε τι αναφέρεται το μέρος «LoRA» του Mixture of LoRA Experts;
    • Προσαρμογή χαμηλής κατάταξης, η οποία εκπαιδεύει μικρούς πίνακες χαμηλής κατάταξης αντί για πλήρη βάρη
    • Ένα μοντέλο ανταμοιβής ενισχυτικής μάθησης
    • Ένας μηχανισμός προσοχής μεγάλης εμβέλειας
    • Ένας αγωγός φόρτωσης δεδομένων για προσαρμογείς
  2. Ποια είναι η δουλειά του δικτύου πύλης/δρομολογητή στο MoLE;
    • Για να συμπιέσετε τα βάρη του βασικού μοντέλου
    • Για να αποφασίσετε ποιους ειδικούς θα ενεργοποιήσετε και με ποια βάρη για μια δεδομένη είσοδο
    • Για τη δημιουργία δεδομένων εκπαίδευσης για τους προσαρμογείς
    • Για να μετατρέψετε κείμενο σε ενσωματώσεις
  3. Γιατί το MoLE είναι συχνά καλύτερο από την εκπαίδευση ενός προσαρμογέα σε πολλές μικτές εργασίες;
    • Χρησιμοποιεί περισσότερη μνήμη GPU από το σχεδιασμό
    • Εξαλείφει την ανάγκη για οποιοδήποτε βασικό μοντέλο
    • Μειώνει τις παρεμβολές και τη λήθη διατηρώντας τις δεξιότητες σε ξεχωριστούς συνθέσιμους ειδικούς
    • Λειτουργεί μόνο σε μία μόνο γλώσσα
  4. Στο LoRA, η ενημέρωση βάρους συνήθως εκφράζεται ως ποιο από τα παρακάτω;
    • Μια πλήρης πυκνή μήτρα που αντικαθιστά το W
    • Ένας απλός βαθμωτός πολλαπλασιαστής στο W
    • Μια μήτρα τυχαίου θορύβου προστέθηκε σε κάθε βήμα
    • Το γινόμενο δύο πινάκων χαμηλής κατάταξης, Β επί Α
  5. Κατά τη διάρκεια της εκπαίδευσης MoLE, τι συμβαίνει γενικά με τα προεκπαιδευμένα βάρη του βασικού μοντέλου;
    • Παραμένουν παγωμένα ενώ είναι εκπαιδευμένοι μόνο οι προσαρμογείς και το ρούτερ
    • Είναι πλήρως επανεκπαιδευμένοι από την αρχή
    • Διαγράφονται και ξαναχτίζονται
    • Κβαντίζονται σε ένα bit
  6. Σε μοντέλα εικόνων διάχυσης, ποιο πρόβλημα βοηθά στην επίλυση του ιεραρχικού/ανά στρώματος πύλη στο MoLE;
    • Αργή λήψεις από το Διαδίκτυο
    • Πολλαπλές concept LoRA που υπερισχύουν το ένα το άλλο όταν συντίθενται
    • Έλλειψη δεδομένων εκπαίδευσης
    • Λανθασμένες μορφές αρχείων
  7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
    • It must retrain the pretrained backbone for every prompt
    • It can use only one expert for all inputs
    • It can select or weight experts conditionally for a task or layer
    • It removes every low-rank matrix before inference
  8. In a LoRA update with rank r, what does r control most directly?
    • The number of decoder tokens generated
    • The number of original model layers removed
    • The size of the training vocabulary
    • The dimension of the low-rank factors and thus the capacity and parameter cost of the update