Quiz dotyczący 1-bitowych i trójskładnikowych modeli BitNet

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Dlaczego BitNet b1.58 jest opisany jako wykorzystujący około 1,58 bitów na wagę?
   • Ponieważ każda waga ma trzy możliwe wartości (-1, 0, +1), a log2(3) wynosi około 1,58
   • Ponieważ zaokrągla się do 2 bitów
   • Ponieważ zużywa 1,58 GB pamięci
   • Ponieważ 1,58 to średnia z 1 i 2 bitów
2. Co sprawia, że operacje na matrycy BitNet są tańsze niż w standardowych modelach?
   • Pomijają mechanizm uwagi
   • Wagi -1, 0, +1 zamieniają mnożenia w dodawanie i odejmowanie
   • Używają mniejszego słownictwa
   • Działają tylko na TPU
3. Kluczowa różnica między BitNet a zwykłą kwantyzacją potreningową polega na tym, że BitNet:
   • Kwantyzację przeprowadza się dopiero po zakończeniu treningu
   • W ogóle nie da się trenować
   • Trenuje się od podstaw z niskimi ciężarami bitowymi
   • Wewnętrznie używa wag 32-bitowych
4. W jaki sposób BitNet aktualizuje wagi podczas treningu pomimo nieróżniczkowalnego etapu kwantyzacji?
   • Zamraża wszystkie ciężary
   • Trenuje bez gradientów
   • Wykorzystuje wyłącznie uczenie się przez wzmacnianie
   • Wykorzystuje prosty estymator z większą precyzją wag cieni
5. Jakie dodatkowe korzyści zapewnia zezwolenie na wartość 0 (trójskładnikową, a nie czysto binarną)?
   • Wbudowana rzadkość, ponieważ zerowe wagi można pominąć
   • Wyższa precyzja niż zmiennoprzecinkowa
   • Szybsza łączność z Internetem
   • Większy rozmiar słownictwa
6. Jakie jest główne wyzwanie sprzętowe umożliwiające osiągnięcie pełnego wzrostu wydajności BitNet?
   • Nie ma już na świecie procesorów graficznych
   • Większość obecnych chipów jest zoptymalizowana pod kątem obliczeń zmiennoprzecinkowych, a nie operacji trójskładnikowych wymagających tylko dodawania
   • Modele trójskładnikowe wymagają komputerów kwantowych
   • Modele są zbyt małe, aby mieć znaczenie
7. If a BitNet weight is zero, what does it contribute to a dot product?
   • It multiplies the activation by negative one
   • It adds a full-precision matrix multiply
   • It contributes zero and can potentially be skipped by suitable hardware
   • It changes the number of model layers
8. Why are higher-precision shadow weights retained during BitNet training?
   • To perform inference with full-precision weights only
   • To store the tokenizer vocabulary
   • To replace the straight-through estimator with exact gradients
   • To maintain trainable values for gradient updates despite low-bit forward quantization