Kvíz spojený s průvodcem · Střední úroveň

Kvantizační kvíz GPTQ a AWQ po tréninku

Kontroluje rozdíl mezi GPTQ a AWQ, kalibrační data, kompenzaci zakřivení, aktivační kanály a nízkobitovou paměť.

Související vodicí cestyKvantizace po školení Gptq a Awq
Otázka 1 z 8

Co znamená 'post-tréninková kvantizace'?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co znamená 'post-tréninková kvantizace'?
    • Stlačování závaží již vycvičeného modelu na nižší přesnost bez úplného přeškolování
    • Přetrénování modelu zcela s nízkou přesností
    • Přidání dalších tréninkových dat po nasazení
    • Zvýšení počtu parametrů modelu
  2. Jaké informace používá GPTQ ke kompenzaci zaokrouhlovacích chyb při kvantování?
    • Seznam slovníků modelky
    • Informace druhého řádu (Hessian/zakřivení) z kalibračního souboru dat
    • Historie výzev uživatele
    • Náhodný hluk
  3. Jaké klíčové poznatky řídí AWQ (Activation-Aware Weight Quantization)?
    • Všechny váhy jsou stejně důležité
    • Aktivace by měly být kvantovány, ale váhy by měly být ponechány nedotčené
    • Malý zlomek hmotnostních kanálů je zvláště důležitý a měl by být chráněn
    • Kvantování by mělo probíhat pouze během předtréninku
  4. Kolik paměti zhruba ušetří 4bitová kvantizace oproti 16bitovým vahám?
    • Žádné úspory
    • Asi dvojnásobná paměť
    • Přesně polovina paměti
    • Asi čtvrtina paměti (4x zmenšení)
  5. Proč GPTQ i AWQ obvykle kvantují váhy, ale udržují aktivace s vyšší přesností?
    • V paměti dominují váhy a agresivní aktivační kvantizace má tendenci více ublížit přesnosti
    • Aktivace v transformátorech neexistují
    • Aktivace jsou již 1bitové
    • Je to vyžadováno zákonem
  6. Který nástroj se běžně používá ke spuštění kvantovaných modelů lokálně na spotřebním hardwaru?
    • Slovo Microsoft
    • lama.cpp
    • Tabulkový procesor
    • Samotný webový prohlížeč
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve