Kvíz spojený s průvodcem · Střední úroveň
Kvantizační kvíz GPTQ a AWQ po tréninku
Kontroluje rozdíl mezi GPTQ a AWQ, kalibrační data, kompenzaci zakřivení, aktivační kanály a nízkobitovou paměť.
Otázka 1 z 8
Co znamená 'post-tréninková kvantizace'?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co znamená 'post-tréninková kvantizace'?
- Stlačování závaží již vycvičeného modelu na nižší přesnost bez úplného přeškolování
- Přetrénování modelu zcela s nízkou přesností
- Přidání dalších tréninkových dat po nasazení
- Zvýšení počtu parametrů modelu
- Jaké informace používá GPTQ ke kompenzaci zaokrouhlovacích chyb při kvantování?
- Seznam slovníků modelky
- Informace druhého řádu (Hessian/zakřivení) z kalibračního souboru dat
- Historie výzev uživatele
- Náhodný hluk
- Jaké klíčové poznatky řídí AWQ (Activation-Aware Weight Quantization)?
- Všechny váhy jsou stejně důležité
- Aktivace by měly být kvantovány, ale váhy by měly být ponechány nedotčené
- Malý zlomek hmotnostních kanálů je zvláště důležitý a měl by být chráněn
- Kvantování by mělo probíhat pouze během předtréninku
- Kolik paměti zhruba ušetří 4bitová kvantizace oproti 16bitovým vahám?
- Žádné úspory
- Asi dvojnásobná paměť
- Přesně polovina paměti
- Asi čtvrtina paměti (4x zmenšení)
- Proč GPTQ i AWQ obvykle kvantují váhy, ale udržují aktivace s vyšší přesností?
- V paměti dominují váhy a agresivní aktivační kvantizace má tendenci více ublížit přesnosti
- Aktivace v transformátorech neexistují
- Aktivace jsou již 1bitové
- Je to vyžadováno zákonem
- Který nástroj se běžně používá ke spuštění kvantovaných modelů lokálně na spotřebním hardwaru?
- Slovo Microsoft
- lama.cpp
- Tabulkový procesor
- Samotný webový prohlížeč
- How does GPTQ use a calibration dataset during layer-wise weight quantization?
- It adds new training labels to the model
- It selects a new tokenizer vocabulary
- It estimates second-order information to compensate for rounding errors
- It measures only GPU temperature
- How does AWQ identify which weight channels deserve protection?
- It computes a full Hessian inverse
- It adds random noise to all weights
- It selects channels only by their index
- It uses activation magnitudes to identify channels important to preserve