Útmutatóhoz kapcsolódó kvíz · Közepes Szint

GPTQ és AWQ edzés utáni kvantálási kvíz

Checks the difference between GPTQ and AWQ, calibration data, curvature compensation, activation-aware channels and low-bit memory.

Kapcsolódó útmutató utakGptq és Awq edzés utáni kvantálás
kérdés 1 -ból 8

Mit jelent a „képzés utáni kvantálás”?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit jelent a „képzés utáni kvantálás”?
    • Egy már betanított modell súlyainak tömörítése a pontosság csökkentése érdekében teljes átképzés nélkül
    • A modell teljes átképzése alacsony pontossággal
    • További képzési adatok hozzáadása a telepítés után
    • A modell paraméterszámának növelése
  2. Milyen információkat használ fel a GPTQ a kerekítési hibák kompenzálására a kvantálás során?
    • A modell szókincslistája
    • Másodrendű (Hessian/görbület) információ egy kalibrációs adatkészletből
    • A felhasználó prompt előzményei
    • Véletlenszerű zaj
  3. Milyen kulcsfontosságú betekintés ösztönzi az AWQ-t (az aktiválás-tudatos súlykvantizálást)?
    • Minden súly egyformán fontos
    • Az aktiválásokat kvantálni kell, de a súlyokat érintetlenül kell hagyni
    • A súlycsatornák kis része különösen fontos, ezért védeni kell
    • A kvantálás csak az előedzés során történjen
  4. Körülbelül mennyi memóriát takarít meg a 4 bites kvantálás a 16 bites súlyokkal szemben?
    • Nincs megtakarítás
    • Körülbelül dupla memória
    • Pontosan a memória fele
    • A memória körülbelül egynegyede (négyszeres csökkenés)
  5. Miért általában a GPTQ és az AWQ is számszerűsíti a súlyokat, de az aktiválásokat nagyobb pontossággal tartja?
    • A súlyok uralják a memóriát, és az agresszív aktiválási kvantálás általában jobban rontja a pontosságot
    • A transzformátorokban nincs aktiválás
    • Az aktiválások már 1 bitesek
    • Törvény írja elő
  6. Melyik eszközt használják általában kvantált modellek helyi futtatására fogyasztói hardveren?
    • Microsoft Word
    • láma.cpp
    • Egy táblázatkezelő program
    • Egyedül egy webböngésző
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve