Útmutatóhoz kapcsolódó kvíz · Közepes Szint
GPTQ és AWQ edzés utáni kvantálási kvíz
Checks the difference between GPTQ and AWQ, calibration data, curvature compensation, activation-aware channels and low-bit memory.
kérdés 1 -ból 8
Mit jelent a „képzés utáni kvantálás”?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit jelent a „képzés utáni kvantálás”?
- Egy már betanított modell súlyainak tömörítése a pontosság csökkentése érdekében teljes átképzés nélkül
- A modell teljes átképzése alacsony pontossággal
- További képzési adatok hozzáadása a telepítés után
- A modell paraméterszámának növelése
- Milyen információkat használ fel a GPTQ a kerekítési hibák kompenzálására a kvantálás során?
- A modell szókincslistája
- Másodrendű (Hessian/görbület) információ egy kalibrációs adatkészletből
- A felhasználó prompt előzményei
- Véletlenszerű zaj
- Milyen kulcsfontosságú betekintés ösztönzi az AWQ-t (az aktiválás-tudatos súlykvantizálást)?
- Minden súly egyformán fontos
- Az aktiválásokat kvantálni kell, de a súlyokat érintetlenül kell hagyni
- A súlycsatornák kis része különösen fontos, ezért védeni kell
- A kvantálás csak az előedzés során történjen
- Körülbelül mennyi memóriát takarít meg a 4 bites kvantálás a 16 bites súlyokkal szemben?
- Nincs megtakarítás
- Körülbelül dupla memória
- Pontosan a memória fele
- A memória körülbelül egynegyede (négyszeres csökkenés)
- Miért általában a GPTQ és az AWQ is számszerűsíti a súlyokat, de az aktiválásokat nagyobb pontossággal tartja?
- A súlyok uralják a memóriát, és az agresszív aktiválási kvantálás általában jobban rontja a pontosságot
- A transzformátorokban nincs aktiválás
- Az aktiválások már 1 bitesek
- Törvény írja elő
- Melyik eszközt használják általában kvantált modellek helyi futtatására fogyasztói hardveren?
- Microsoft Word
- láma.cpp
- Egy táblázatkezelő program
- Egyedül egy webböngésző
- How does GPTQ use a calibration dataset during layer-wise weight quantization?
- It adds new training labels to the model
- It selects a new tokenizer vocabulary
- It estimates second-order information to compensate for rounding errors
- It measures only GPU temperature
- How does AWQ identify which weight channels deserve protection?
- It computes a full Hessian inverse
- It adds random noise to all weights
- It selects channels only by their index
- It uses activation magnitudes to identify channels important to preserve