Μοντέλο Quantization Quiz

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Quantizing a model mainly reduces what?
   • Η αριθμητική ακρίβεια που χρησιμοποιείται για την αποθήκευση βαρών και ενεργοποιήσεων
   • Ο αριθμός των επιπέδων στο δίκτυο
   • Το σύνολο δεδομένων εκπαίδευσης πάνω στο οποίο χτίστηκε το μοντέλο
   • Η γλώσσα που μπορεί να καταλάβει το μοντέλο
2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
   • The payload is unchanged
   • It is one hundredth of the original payload
   • The four-bit payload is one quarter of the sixteen-bit payload
   • The payload becomes four times larger
3. Ποιο είναι το κύριο μειονέκτημα της επιθετικής κβαντοποίησης χαμηλών bit;
   • Το μοντέλο ξεχνά τη γλώσσα προπόνησής του
   • Πιθανή απώλεια ακρίβειας καθώς οι τιμές συμπιέζονται σε λιγότερους κάδους
   • Μπορεί να τρέξει μόνο σε υπερυπολογιστές
   • Διαγράφει οριστικά επίπεδα
4. Πώς διαφέρει η εκπαίδευση με επίγνωση κβαντισμού από την κβαντοποίηση μετά την εκπαίδευση;
   • Δεν απαιτεί καθόλου δεδομένα
   • Λειτουργεί μόνο σε εικόνες
   • Αυξάνει τον αριθμό των bit με την πάροδο του χρόνου
   • Προσομοιώνει τη στρογγυλοποίηση κατά τη διάρκεια της προπόνησης, ώστε το μοντέλο να μάθει να ανέχεται χαμηλή ακρίβεια
5. Ποια τεχνική χρησιμοποιεί κβαντισμό 4-bit για να κάνει τη βελτίωση των μεγάλων μοντέλων προσιτά σε μία GPU;
   • Εγκατάλειψη
   • Ομαλοποίηση παρτίδας
   • QLoRA
   • Tokenization (Τεμαχισμός σε tokens)
6. Γιατί η κλιμάκωση ανά κανάλι ή ανά ομάδα βοηθά τα κβαντισμένα μοντέλα;
   • Εκχωρεί ξεχωριστούς συντελεστές κλίμακας σε φέτες μιας μήτρας βάρους για διατήρηση της ακρίβειας
   • Αφαιρεί την ανάγκη για τυχόν βάρη
   • Κάνει το μοντέλο μεγαλύτερο
   • Μετατρέπει κείμενο σε ήχο
7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
   • Every four-bit weight expands permanently to a gigabyte
   • Quantization guarantees no runtime allocations
   • Only the model’s filename consumes the remaining memory
   • Caches, scales, unquantized tensors, or workspace need additional memory
8. A team quantizes to INT8 but sees no inference speedup. What should it check?
   • Whether the training data are alphabetized
   • Whether the workload uses efficient supported kernels on its hardware
   • Whether lower bit width always guarantees faster execution
   • Whether the model must have changed languages