Test legat de ghid · Mediu Nivel

Test de cuantizare GPTQ și AWQ post-antrenament

Checks the difference between GPTQ and AWQ, calibration data, curvature compensation, activation-aware channels and low-bit memory.

Căi de ghidare aferenteGptq și Awq Post Training Quantization
Întrebare 1 de 8

Ce înseamnă „cuantificare post-antrenament”?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce înseamnă „cuantificare post-antrenament”?
    • Comprimarea greutăților unui model deja antrenat pentru a reduce precizia fără reantrenare completă
    • Reantrenarea modelului în întregime la precizie scăzută
    • Adăugarea mai multor date de antrenament după implementare
    • Creșterea numărului de parametri ai modelului
  2. Ce informații folosește GPTQ pentru a compensa erorile de rotunjire la cuantificare?
    • Lista de vocabular a modelului
    • Informații de ordinul doi (Hessian/curbură) dintr-un set de date de calibrare
    • Istoricul solicitărilor utilizatorului
    • Zgomot întâmplător
  3. Ce informații cheie determină AWQ (Cuantificarea greutății în funcție de activare)?
    • Toate greutățile sunt la fel de importante
    • Activările ar trebui să fie cuantificate, dar greutățile trebuie lăsate neatinse
    • O mică parte din canalele de greutate sunt deosebit de importante și ar trebui protejate
    • Cuantificarea ar trebui să aibă loc numai în timpul preantrenamentului
  4. Aproximativ câtă memorie economisește cuantizarea pe 4 biți față de greutățile de 16 biți?
    • Fără economii
    • Cam dublul memoriei
    • Exact jumătate din memorie
    • Aproximativ un sfert din memorie (o reducere de 4x)
  5. De ce atât GPTQ, cât și AWQ cuantizează de obicei ponderile, dar mențin activările la o precizie mai mare?
    • Greutățile domină memoria, iar cuantizarea agresivă a activării tinde să afecteze mai mult acuratețea
    • Nu există activări în transformatoare
    • Activările sunt deja pe 1 bit
    • Este cerut de lege
  6. Ce instrument este folosit în mod obișnuit pentru a rula modele cuantificate la nivel local pe hardware de consum?
    • Microsoft Cuvânt
    • llama.cpp
    • Un program de foaie de calcul
    • Un browser web singur
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve