Κουίζ κβαντοποίησης μετά την εκπαίδευση GPTQ και AWQ

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι σημαίνει «κβαντοποίηση μετά την προπόνηση»;
   • Συμπίεση των βαρών ενός ήδη εκπαιδευμένου μοντέλου σε χαμηλότερη ακρίβεια χωρίς πλήρη επανεκπαίδευση
   • Επανεκπαίδευση του μοντέλου εξ ολοκλήρου με χαμηλή ακρίβεια
   • Προσθήκη περισσότερων δεδομένων εκπαίδευσης μετά την ανάπτυξη
   • Αύξηση του αριθμού παραμέτρων του μοντέλου
2. Ποιες πληροφορίες χρησιμοποιεί το GPTQ για να αντισταθμίσει τα σφάλματα στρογγυλοποίησης κατά τον κβαντισμό;
   • Η λίστα με το λεξιλόγιο του μοντέλου
   • Πληροφορίες δεύτερης τάξης (Hessian/curvature) από ένα σύνολο δεδομένων βαθμονόμησης
   • Ιστορικό προτροπής του χρήστη
   • Τυχαίος θόρυβος
3. Ποια βασική γνώση οδηγεί το AWQ (Activation-aware Weight Quantization);
   • Όλα τα βάρη είναι εξίσου σημαντικά
   • Οι ενεργοποιήσεις πρέπει να είναι κβαντοποιημένες, αλλά τα βάρη να παραμένουν ανέγγιχτα
   • Ένα μικρό κλάσμα των καναλιών βάρους είναι ιδιαίτερα σημαντικό και πρέπει να προστατεύεται
   • Η κβαντοποίηση θα πρέπει να γίνεται μόνο κατά την προπόνηση
4. Περίπου πόση μνήμη εξοικονομεί η κβαντοποίηση 4 bit έναντι των βαρών των 16 bit;
   • Καμία εξοικονόμηση
   • Περίπου διπλάσια μνήμη
   • Ακριβώς η μισή μνήμη
   • Περίπου το ένα τέταρτο της μνήμης (μείωση 4 φορές)
5. Γιατί και το GPTQ και το AWQ συνήθως κβαντίζουν τα βάρη, αλλά διατηρούν τις ενεργοποιήσεις με μεγαλύτερη ακρίβεια;
   • Τα βάρη κυριαρχούν στη μνήμη και η επιθετική κβαντοποίηση ενεργοποίησης τείνει να βλάπτει περισσότερο την ακρίβεια
   • Ενεργοποιήσεις δεν υπάρχουν στους μετασχηματιστές
   • Οι ενεργοποιήσεις είναι ήδη 1-bit
   • Επιβάλλεται από το νόμο
6. Ποιο εργαλείο χρησιμοποιείται συνήθως για την εκτέλεση κβαντισμένων μοντέλων τοπικά σε καταναλωτικό υλικό;
   • Microsoft Word
   • λάμα.cpp
   • Ένα πρόγραμμα υπολογιστικών φύλλων
   • Ένα πρόγραμμα περιήγησης ιστού μόνο
7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
   • It adds new training labels to the model
   • It selects a new tokenizer vocabulary
   • It estimates second-order information to compensate for rounding errors
   • It measures only GPU temperature
8. How does AWQ identify which weight channels deserve protection?
   • It computes a full Hessian inverse
   • It adds random noise to all weights
   • It selects channels only by their index
   • It uses activation magnitudes to identify channels important to preserve