Gids-gekoppelde quiz · Moeilijk Niveau
Quiz over 1-bits en ternaire BitNet-modellen
Controleert ternaire gewichten, de 1,58-bits berekening, matrixbewerkingen met lage bits, directe training en hardware-afwegingen.
Vraag 1 van 8
Waarom wordt beschreven dat BitNet b1.58 ongeveer 1,58 bits per gewicht gebruikt?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waarom wordt beschreven dat BitNet b1.58 ongeveer 1,58 bits per gewicht gebruikt?
- Omdat elk gewicht drie mogelijke waarden heeft (-1, 0, +1) en log2(3) ongeveer 1,58 is
- Omdat het wordt afgerond op 2 bits
- Omdat het 1,58 GB geheugen gebruikt
- Omdat 1,58 het gemiddelde is van 1 en 2 bits
- Wat maakt de matrixbewerkingen van BitNet goedkoper dan in standaardmodellen?
- Ze slaan het aandachtsmechanisme over
- Gewichten van -1, 0, +1 zetten vermenigvuldigingen om in optellingen en aftrekkingen
- Ze gebruiken een kleinere woordenschat
- Ze draaien alleen op TPU's
- Een belangrijk verschil tussen BitNet en gewone kwantisering na de training is dat BitNet:
- Kwantiseert alleen nadat de training is voltooid
- Er kan helemaal niet getraind worden
- Wordt vanaf nul getraind met lage gewichten
- Maakt intern gebruik van 32-bits gewichten
- Hoe werkt BitNet tijdens de training de gewichten bij, ondanks de niet-differentieerbare kwantiseringsstap?
- Het bevriest alle gewichten
- Er wordt getraind zonder hellingen
- Er wordt alleen gebruik gemaakt van versterkend leren
- Er wordt gebruik gemaakt van een straight-through schatter met schaduwgewichten met een hogere nauwkeurigheid
- Welk extra voordeel biedt het toestaan van de waarde 0 (ternair, niet puur binair)?
- Ingebouwde spaarzaamheid, omdat op nul geplaatste gewichten kunnen worden overgeslagen
- Hogere precisie dan drijvende komma
- Snellere internetverbinding
- Grotere woordenschatgrootte
- Wat is de belangrijkste hardware-uitdaging voor het realiseren van de volledige efficiëntiewinst van BitNet?
- Er zijn geen GPU's meer in de wereld
- De meeste huidige chips zijn geoptimaliseerd voor drijvende-kommaberekeningen, niet voor ternaire optellingen
- Ternaire modellen hebben kwantumcomputers nodig
- De modellen zijn te klein om er toe te doen
- If a BitNet weight is zero, what does it contribute to a dot product?
- It multiplies the activation by negative one
- It adds a full-precision matrix multiply
- It contributes zero and can potentially be skipped by suitable hardware
- It changes the number of model layers
- Why are higher-precision shadow weights retained during BitNet training?
- To perform inference with full-precision weights only
- To store the tokenizer vocabulary
- To replace the straight-through estimator with exact gradients
- To maintain trainable values for gradient updates despite low-bit forward quantization