Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

QLoRA και Κουίζ 4-bit Fine-Tuning

Ελέγξτε την παγωμένη βάση 4-bit της QLoRA, τους προσαρμογείς χαμηλής κατάταξης που μπορούν να εκπαιδευτούν, το NF4, τη διπλή κβαντοποίηση, τους σελιδοποιημένους βελτιστοποιητές και την προσωρινή αποκβάντωση.

Σχετικές διαδρομές οδηγώνQlora και 4 Bit Fine Tuning
Ερώτηση 1 του 8

Ποια είναι η βασική ιδέα εξοικονόμησης μνήμης πίσω από το τμήμα «4-bit» του QLoRA;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποια είναι η βασική ιδέα εξοικονόμησης μνήμης πίσω από το τμήμα «4-bit» του QLoRA;
    • Κβαντίζει τα βάρη του παγωμένου βασικού μοντέλου σε 4 bit το καθένα
    • Διαγράφει το 75% των επιπέδων του μοντέλου
    • Εκπαιδεύει το μοντέλο μόνο σε 4 εποχές
    • Χρησιμοποιεί μόνο 4 GPU αντί για πολλές
  2. Κατά τη διάρκεια της μικρορύθμισης του QLoRA, ποιες παράμετροι ενημερώνονται στην πραγματικότητα με gradient descent;
    • Όλα τα αρχικά βάρη του μοντέλου
    • Μόνο οι μικροί πίνακες προσαρμογέων LoRA χαμηλής κατάταξης
    • Οι σταθερές κβαντοποίησης 4-bit
    • Το λεξιλόγιο του tokenizer
  3. Τι είναι το NF4 στο πλαίσιο του QLoRA;
    • Ένα νευρωνικό δίκτυο 4 επιπέδων
    • Ένας νέος αλγόριθμος βελτιστοποίησης
    • Ένας τύπος δεδομένων 4-bit βελτιστοποιημένος για κανονικά κατανεμημένα βάρη
    • Μορφή συμπλέγματος GPU 4 κόμβων
  4. Ποιο πρόβλημα αντιμετωπίζουν οι "σελιδοποιημένοι βελτιστοποιητές" στο QLoRA;
    • Αργή λήψη αρχείων μοντέλου από το Διαδίκτυο
    • Λανθασμένος χαρακτηρισμός
    • Υπερβολική προσαρμογή σε μικρά σύνολα δεδομένων
    • Αιχμές εκτός μνήμης κατά τη διάρκεια μεγάλων ακολουθιών
  5. Πότε μετατρέπονται τα βάρη των 4 bit σε μεγαλύτερη ακρίβεια κατά τη διάρκεια της προπόνησης;
    • Just-in-time κατά τη διάρκεια του πολλαπλασιασμού του πίνακα, στη συνέχεια απορρίφθηκε
    • Δεν μετατρέπονται ποτέ. Τα μαθηματικά γίνονται σε 4 bit
    • Μόνο μία φορά στην αρχή της προπόνησης
    • Μόνο μετά την ολοκλήρωση της προπόνησης
  6. Τι έδειξε για την ποιότητα το αρχικό χαρτί QLoRA;
    • Ο μικροσυντονισμός 4 bit ξεπερνά πάντα τον πλήρη συντονισμό
    • Η τελειοποίηση ενός μοντέλου 65 B σε μία GPU θα μπορούσε να ταιριάζει με την πλήρη ποιότητα λεπτομέρειας 16 bit
    • Η κβαντοποίηση καθιστά τα μοντέλα άχρηστα κάτω από 8 bit
    • Μόνο μικροσκοπικά μοντέλα μπορούν να ρυθμιστούν με αυτόν τον τρόπο
  7. What does QLoRA’s double-quantization step compress?
    • Το λεξιλόγιο του tokenizer
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks