Quiz collegato alla guida · Medio Livello
Quiz sulla quantizzazione post-allenamento GPTQ e AWQ
Controlla la differenza tra GPTQ e AWQ, dati di calibrazione, compensazione della curvatura, canali sensibili all'attivazione e memoria a basso bit.
Domanda 1 di 8
Cosa significa "quantizzazione post-allenamento"?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa significa "quantizzazione post-allenamento"?
- Compressione dei pesi di un modello già addestrato per ridurre la precisione senza una riqualificazione completa
- Riqualificazione del modello interamente a bassa precisione
- Aggiunta di ulteriori dati di training dopo la distribuzione
- Aumento del conteggio dei parametri del modello
- Quali informazioni utilizza GPTQ per compensare gli errori di arrotondamento durante la quantizzazione?
- L'elenco dei vocaboli del modello
- Informazioni di secondo ordine (Hessiano/curvatura) da un set di dati di calibrazione
- La cronologia dei prompt dell'utente
- Rumore casuale
- Quali informazioni chiave guidano l'AWQ (Quantizzazione del peso consapevole dell'attivazione)?
- Tutti i pesi sono ugualmente importanti
- Le attivazioni dovrebbero essere quantizzate ma i pesi lasciati intatti
- Una piccola parte dei canali del peso sono particolarmente importanti e dovrebbero essere protetti
- La quantizzazione dovrebbe avvenire solo durante il preallenamento
- Approssimativamente quanta memoria risparmia la quantizzazione a 4 bit rispetto ai pesi a 16 bit?
- Nessun risparmio
- Circa il doppio della memoria
- Esattamente metà della memoria
- Circa un quarto della memoria (una riduzione di 4x)
- Perché sia GPTQ che AWQ in genere quantizzano i pesi ma mantengono le attivazioni con una precisione maggiore?
- I pesi dominano la memoria e la quantizzazione aggressiva dell'attivazione tende a compromettere maggiormente la precisione
- Nei trasformatori non esistono attivazioni
- Le attivazioni sono già a 1 bit
- E' richiesto dalla legge
- Quale strumento viene comunemente utilizzato per eseguire modelli quantizzati localmente sull'hardware consumer?
- Microsoft Parola
- lama.cpp
- Un programma per fogli di calcolo
- Solo un browser web
- How does GPTQ use a calibration dataset during layer-wise weight quantization?
- It adds new training labels to the model
- It selects a new tokenizer vocabulary
- It estimates second-order information to compensate for rounding errors
- It measures only GPU temperature
- How does AWQ identify which weight channels deserve protection?
- It computes a full Hessian inverse
- It adds random noise to all weights
- It selects channels only by their index
- It uses activation magnitudes to identify channels important to preserve