Quiz collegato alla guida · Medio Livello

Quiz sulla quantizzazione post-allenamento GPTQ e AWQ

Controlla la differenza tra GPTQ e AWQ, dati di calibrazione, compensazione della curvatura, canali sensibili all'attivazione e memoria a basso bit.

Domanda 1 di 8

Cosa significa "quantizzazione post-allenamento"?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa significa "quantizzazione post-allenamento"?
    • Compressione dei pesi di un modello già addestrato per ridurre la precisione senza una riqualificazione completa
    • Riqualificazione del modello interamente a bassa precisione
    • Aggiunta di ulteriori dati di training dopo la distribuzione
    • Aumento del conteggio dei parametri del modello
  2. Quali informazioni utilizza GPTQ per compensare gli errori di arrotondamento durante la quantizzazione?
    • L'elenco dei vocaboli del modello
    • Informazioni di secondo ordine (Hessiano/curvatura) da un set di dati di calibrazione
    • La cronologia dei prompt dell'utente
    • Rumore casuale
  3. Quali informazioni chiave guidano l'AWQ (Quantizzazione del peso consapevole dell'attivazione)?
    • Tutti i pesi sono ugualmente importanti
    • Le attivazioni dovrebbero essere quantizzate ma i pesi lasciati intatti
    • Una piccola parte dei canali del peso sono particolarmente importanti e dovrebbero essere protetti
    • La quantizzazione dovrebbe avvenire solo durante il preallenamento
  4. Approssimativamente quanta memoria risparmia la quantizzazione a 4 bit rispetto ai pesi a 16 bit?
    • Nessun risparmio
    • Circa il doppio della memoria
    • Esattamente metà della memoria
    • Circa un quarto della memoria (una riduzione di 4x)
  5. Perché sia GPTQ che AWQ in genere quantizzano i pesi ma mantengono le attivazioni con una precisione maggiore?
    • I pesi dominano la memoria e la quantizzazione aggressiva dell'attivazione tende a compromettere maggiormente la precisione
    • Nei trasformatori non esistono attivazioni
    • Le attivazioni sono già a 1 bit
    • E' richiesto dalla legge
  6. Quale strumento viene comunemente utilizzato per eseguire modelli quantizzati localmente sull'hardware consumer?
    • Microsoft Parola
    • lama.cpp
    • Un programma per fogli di calcolo
    • Solo un browser web
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve