Gids-gekoppelde quiz · Middelmatig Niveau
GPTQ en AWQ kwantiseringsquiz na de training
Controleert het verschil tussen GPTQ en AWQ, kalibratiegegevens, krommingscompensatie, activeringsbewuste kanalen en low-bit-geheugen.
Vraag 1 van 8
Wat betekent 'kwantisering na de training'?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat betekent 'kwantisering na de training'?
- Het comprimeren van de gewichten van een reeds getraind model om de precisie te verlagen zonder volledige hertraining
- Het model volledig opnieuw trainen met lage precisie
- Meer trainingsgegevens toevoegen na de implementatie
- Het aantal parameters van het model verhogen
- Welke informatie gebruikt GPTQ om afrondingsfouten te compenseren bij het kwantiseren?
- De woordenlijst van het model
- Informatie van de tweede orde (Hessiaan/kromming) uit een kalibratiegegevensset
- De promptgeschiedenis van de gebruiker
- Willekeurig geluid
- Welk belangrijk inzicht drijft AWQ (Activation-aware Weight Quantization) aan?
- Alle gewichten zijn even belangrijk
- Activeringen moeten worden gekwantiseerd, maar de gewichten moeten onaangeroerd blijven
- Een klein deel van de gewichtskanalen is bijzonder belangrijk en moet worden beschermd
- Kwantisering mag alleen plaatsvinden tijdens de voortraining
- Hoeveel geheugen bespaart 4-bit kwantisering grofweg ten opzichte van 16-bit gewichten?
- Geen besparingen
- Ongeveer het dubbele van het geheugen
- Precies de helft van het geheugen
- Ongeveer een kwart van het geheugen (een 4x reductie)
- Waarom kwantiseren zowel GPTQ als AWQ doorgaans gewichten, maar houden ze activeringen met een hogere precisie?
- Gewichten domineren het geheugen, en agressieve activeringskwantisering heeft de neiging de nauwkeurigheid nog meer te schaden
- Activeringen bestaan niet in transformatoren
- Activeringen zijn al 1-bit
- Het is wettelijk verplicht
- Welke tool wordt vaak gebruikt om gekwantiseerde modellen lokaal op consumentenhardware uit te voeren?
- Microsoft Woord
- lama.cpp
- Een spreadsheetprogramma
- Alleen een webbrowser
- How does GPTQ use a calibration dataset during layer-wise weight quantization?
- It adds new training labels to the model
- It selects a new tokenizer vocabulary
- It estimates second-order information to compensate for rounding errors
- It measures only GPU temperature
- How does AWQ identify which weight channels deserve protection?
- It computes a full Hessian inverse
- It adds random noise to all weights
- It selects channels only by their index
- It uses activation magnitudes to identify channels important to preserve