Gids-gekoppelde quiz · Middelmatig Niveau

GPTQ en AWQ kwantiseringsquiz na de training

Controleert het verschil tussen GPTQ en AWQ, kalibratiegegevens, krommingscompensatie, activeringsbewuste kanalen en low-bit-geheugen.

Vraag 1 van 8

Wat betekent 'kwantisering na de training'?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat betekent 'kwantisering na de training'?
    • Het comprimeren van de gewichten van een reeds getraind model om de precisie te verlagen zonder volledige hertraining
    • Het model volledig opnieuw trainen met lage precisie
    • Meer trainingsgegevens toevoegen na de implementatie
    • Het aantal parameters van het model verhogen
  2. Welke informatie gebruikt GPTQ om afrondingsfouten te compenseren bij het kwantiseren?
    • De woordenlijst van het model
    • Informatie van de tweede orde (Hessiaan/kromming) uit een kalibratiegegevensset
    • De promptgeschiedenis van de gebruiker
    • Willekeurig geluid
  3. Welk belangrijk inzicht drijft AWQ (Activation-aware Weight Quantization) aan?
    • Alle gewichten zijn even belangrijk
    • Activeringen moeten worden gekwantiseerd, maar de gewichten moeten onaangeroerd blijven
    • Een klein deel van de gewichtskanalen is bijzonder belangrijk en moet worden beschermd
    • Kwantisering mag alleen plaatsvinden tijdens de voortraining
  4. Hoeveel geheugen bespaart 4-bit kwantisering grofweg ten opzichte van 16-bit gewichten?
    • Geen besparingen
    • Ongeveer het dubbele van het geheugen
    • Precies de helft van het geheugen
    • Ongeveer een kwart van het geheugen (een 4x reductie)
  5. Waarom kwantiseren zowel GPTQ als AWQ doorgaans gewichten, maar houden ze activeringen met een hogere precisie?
    • Gewichten domineren het geheugen, en agressieve activeringskwantisering heeft de neiging de nauwkeurigheid nog meer te schaden
    • Activeringen bestaan niet in transformatoren
    • Activeringen zijn al 1-bit
    • Het is wettelijk verplicht
  6. Welke tool wordt vaak gebruikt om gekwantiseerde modellen lokaal op consumentenhardware uit te voeren?
    • Microsoft Woord
    • lama.cpp
    • Een spreadsheetprogramma
    • Alleen een webbrowser
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve