Testul de modele BitNet pe 1 bit și ternar

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. De ce este descris BitNet b1.58 ca folosind aproximativ 1,58 biți pe greutate?
   • Deoarece fiecare greutate are trei valori posibile (-1, 0, +1) și log2(3) este aproximativ 1,58
   • Pentru că se rotunjește la 2 biți
   • Pentru că folosește 1,58 GB de memorie
   • Pentru că 1,58 este media a 1 și 2 biți
2. Ce face ca operațiunile cu matrice ale BitNet să fie mai ieftine decât în modelele standard?
   • Ei sar peste mecanismul atenției
   • Greutățile de -1, 0, +1 transformă înmulțirile în adunări și scăderi
   • Ei folosesc un vocabular mai mic
   • Ele rulează doar pe TPU
3. O diferență cheie între BitNet și cuantizarea obișnuită post-antrenament este că BitNet:
   • Cuantifică numai după ce antrenamentul este complet
   • Nu poate fi antrenat deloc
   • Este antrenat de la zero cu greutăți mici de biți
   • Utilizează ponderi de 32 de biți în interior
4. În timpul antrenamentului, cum actualizează BitNet ponderile în ciuda pasului de cuantificare nediferențiabilă?
   • Îngheață toate greutățile
   • Se antrenează fără denivelări
   • Utilizează numai învățarea prin întărire
   • Utilizează un estimator direct cu greutăți de umbră de precizie mai mare
5. Ce beneficii suplimentare oferă permisiunea valorii 0 (ternar, nu binar pur)?
   • Sparitate încorporată, deoarece greutățile reduse la zero pot fi sărite
   • Precizie mai mare decât virgulă mobilă
   • Conexiune la internet mai rapidă
   • Dimensiune mai mare a vocabularului
6. Care este principala provocare hardware pentru realizarea totală a câștigurilor de eficiență BitNet?
   • Nu au mai rămas GPU-uri în lume
   • Majoritatea cipurilor actuale sunt optimizate pentru matematică în virgulă mobilă, nu numai pentru operațiuni ternare de adunare
   • Modelele ternare au nevoie de calculatoare cuantice
   • Modelele sunt prea mici pentru a conta
7. If a BitNet weight is zero, what does it contribute to a dot product?
   • It multiplies the activation by negative one
   • It adds a full-precision matrix multiply
   • It contributes zero and can potentially be skipped by suitable hardware
   • It changes the number of model layers
8. Why are higher-precision shadow weights retained during BitNet training?
   • To perform inference with full-precision weights only
   • To store the tokenizer vocabulary
   • To replace the straight-through estimator with exact gradients
   • To maintain trainable values for gradient updates despite low-bit forward quantization