LoRA και Κουίζ Αποτελεσματικού Συντονισμού παραμέτρων

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Στην αρχική σύνθεση LoRA για μια επιλεγμένη μήτρα βάρους, τι μαθαίνεται ενώ αυτή η μήτρα παραμένει παγωμένη;
   • A replacement vocabulary with no weight update
   • Every entry of the full base matrix from random initialization
   • Two factor matrices forming an additive low-rank update
   • A permanent deletion of the entire selected layer
2. Ποιες απαιτήσεις πόρων μπορούν να μειώσουν λιγότερες εκπαιδεύσιμες παραμέτρους LoRA σε σύγκριση με την πλήρη λεπτομέρεια;
   • Every base-model computation by definition
   • All activation storage regardless of the training procedure
   • A guaranteed universal percentage of total runtime memory
   • Optimizer-state and task-checkpoint requirements
3. Τι ελέγχει η κατάταξη 'r' σε έναν προσαρμογέα LoRA;
   • Η εσωτερική διάσταση των δύο πινάκων χαμηλής κατάταξης, ρυθμίζοντας τη χωρητικότητα του προσαρμογέα
   • Ο αριθμός των στρώσεων στο βασικό μοντέλο
   • Το ποσοστό μάθησης κατά τη διάρκεια της εκπαίδευσης
   • Πόσες GPU απαιτούνται
4. Ποιες επιλογές αποθήκευσης και προσαρμογής συνδυάζονται στο χαρτί QLoRA;
   • Updating every base weight directly as a 4-bit integer gradient
   • A frozen low-bit base with trainable LoRA adapters
   • Removing all adapters and all task data
   • A guarantee that every model fits every consumer GPU
5. Τι μπορεί να αφαιρέσει μια συμβατή πυκνή συγχώνευση μιας ενημέρωσης LoRA από τον υπολογισμό συμπερασμάτων αυτού του επιπέδου;
   • The need to evaluate the base layer at all
   • Every possible dtype compatibility requirement
   • A requirement that all future task updates become identical
   • The need to evaluate a separate adapter branch
6. Which reuse pattern is supported by storing compatible task adapters separately from a base checkpoint?
   • Every adapter automatically makes every task factually correct
   • All serving systems must switch tasks with zero overhead
   • Multiple task updates can share the same pretrained base
   • The base checkpoint is no longer needed for inference
7. For a stated 4-by-4 weight update with rank-one factors shaped 4-by-1 and 1-by-4, how many factor parameters are there?
   • Δεκαέξι
   • Οκτώ
   • Τέσσερα
   • Thirty-two
8. What does QLoRA's double-quantization technique compress in addition to the base weight representation?
   • The quantization constants
   • Every task label into a second unrelated category
   • The adapter gradients twice by definition
   • A second complete copy of the base model