Kvíz spojený s průvodcem · Těžko úroveň
Kvíz 1-bitových a ternárních modelů BitNet
Kontroluje ternární váhy, 1,58bitový výpočet, nízkobitové maticové operace, přímočaré školení a hardwarové kompromisy.
Otázka 1 z 8
Proč je BitNet b1.58 popsán tak, že používá přibližně 1,58 bitů na váhu?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Proč je BitNet b1.58 popsán tak, že používá přibližně 1,58 bitů na váhu?
- Protože každá váha má tři možné hodnoty (-1, 0, +1) a log2(3) je asi 1,58
- Protože se zaokrouhluje na 2 bity
- Protože využívá 1,58 GB paměti
- Protože 1,58 je průměr 1 a 2 bitů
- Co dělá maticové operace BitNetu levnější než u standardních modelů?
- Přeskočí mechanismus pozornosti
- Váhy -1, 0, +1 mění násobení na sčítání a odčítání
- Používají menší slovní zásobu
- Běží pouze na TPU
- Klíčový rozdíl mezi BitNetem a běžnou kvantizací po trénování je ten, že BitNet:
- Kvantuje pouze po dokončení tréninku
- Nedá se vůbec natrénovat
- Cvičí se od nuly s nízkými váhami bitů
- Interně používá 32bitové váhy
- Jak během tréninku BitNet aktualizuje váhy navzdory nediferencovatelnému kroku kvantizace?
- Zmrazí všechny váhy
- Trénuje se bez stoupání
- Využívá pouze posilovací učení
- Používá přímý odhad s přesnějšími váhami stínů
- Jakou další výhodu poskytuje povolení hodnoty 0 (ternární, nikoli čistě binární)?
- Vestavěná řídkost, protože nulové váhy lze přeskočit
- Vyšší přesnost než s pohyblivou řádovou čárkou
- Rychlejší připojení k internetu
- Větší velikost slovní zásoby
- Jaká je hlavní hardwarová výzva pro realizaci plného zvýšení efektivity BitNetu?
- Na světě nezbyly žádné GPU
- Většina současných čipů je optimalizována pro matematiku s plovoucí desetinnou čárkou, nikoli pro ternární operace pouze s přidáním
- Ternární modely potřebují kvantové počítače
- Modely jsou příliš malé, aby na nich záleželo
- If a BitNet weight is zero, what does it contribute to a dot product?
- It multiplies the activation by negative one
- It adds a full-precision matrix multiply
- It contributes zero and can potentially be skipped by suitable hardware
- It changes the number of model layers
- Why are higher-precision shadow weights retained during BitNet training?
- To perform inference with full-precision weights only
- To store the tokenizer vocabulary
- To replace the straight-through estimator with exact gradients
- To maintain trainable values for gradient updates despite low-bit forward quantization