Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Κουίζ SmoothQuant και Activation Quantization

Ελέγχει τα ακραία σημεία ενεργοποίησης, τη μετεγκατάσταση κλίμακας ανά κανάλι, τη σημείωση W8A8, το δίπλωμα εκτός σύνδεσης και τις δοκιμασμένες συμπεράσματα του SmoothQuant.

Σχετικές διαδρομές οδηγώνSmoothquant And Activation Quantization
Ερώτηση 1 του 8

Ποιο πρόβλημα αντιμετωπίζει συγκεκριμένα το SmoothQuant στο συμπέρασμα χαμηλής ακρίβειας;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποιο πρόβλημα αντιμετωπίζει συγκεκριμένα το SmoothQuant στο συμπέρασμα χαμηλής ακρίβειας;
    • Ακραίες ακραίες τιμές στα κανάλια ενεργοποίησης
    • Βάρη που είναι πολύ μικρά για να αντιπροσωπευτούν
    • Η κλίση εξαφανίζεται κατά την οπίσθια διάδοση
    • Όρια μεγέθους λεξιλογίου συμβολικών
  2. Πώς το SmoothQuant διευκολύνει τον κβαντισμό των ενεργοποιήσεων;
    • Κλιπ όλες τις ενεργοποιήσεις πάνω από ένα σταθερό όριο
    • Μετατοπίζει τη δυσκολία μειώνοντας την κλιμάκωση των ενεργοποιήσεων και βαραίνει με τον ίδιο παράγοντα
    • Επανεκπαιδεύει το μοντέλο από άκρο σε άκρο σε 8-bit
    • Μετατρέπει τις ενεργοποιήσεις μόνο σε κινητή υποδιαστολή
  3. Τι σημαίνει η σημείωση W8A8;
    • 8 στρώματα βάρους και 8 κεφαλές προσοχής
    • Μείωση βάρους 8 και άλφα 8
    • Βάρη 8 bit και ενεργοποιήσεις 8 bit
    • 8 εργάτες και 8 επιταχυντές
  4. Γιατί η κλιμάκωση του SmoothQuant ουσιαστικά δεν προσθέτει επιβάρυνση χρόνου εκτέλεσης;
    • Λειτουργεί σε ξεχωριστή αποκλειστική GPU
    • Ισχύει μόνο κατά τη διάρκεια της προπόνησης, ποτέ συμπεράσματα
    • Οι σύγχρονοι CPU αγνοούν τους παράγοντες κλιμάκωσης
    • Η ζυγαριά απορροφάται εκτός σύνδεσης σε παρακείμενα βάρη ή σε λιωμένες λειτουργίες
  5. Τι ρόλο παίζει η υπερπαράμετρος άλφα στο SmoothQuant;
    • Ελέγχει πόσο το ακραίο φορτίο μετατοπίζεται από τις ενεργοποιήσεις στα βάρη
    • Ρυθμίζει το ρυθμό εκμάθησης για τελειοποίηση
    • Καθορίζει τον αριθμό των bit κβαντοποίησης
    • Επιλέγει ποια προσοχή θα κλαδέψει
  6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
    • A guaranteed 10× speedup on every GPU
    • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
    • No runtime or memory benefit
    • A 50% accuracy drop in every tested model
  7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
    • The output is rounded to the nearest class
    • The model replaces multiplication with addition
    • The reciprocal scale factors cancel in the activation-weight multiplication
    • The weights are set to zero after scaling
  8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
    • It removes the model’s weight matrices
    • It turns W8A8 into W16A16
    • It eliminates all quantization error
    • It shifts more scaling burden away from activations and onto weights