Gids-gekoppelde quiz · Moeilijk Niveau

Quiz over 1-bits en ternaire BitNet-modellen

Controleert ternaire gewichten, de 1,58-bits berekening, matrixbewerkingen met lage bits, directe training en hardware-afwegingen.

Vraag 1 van 8

Waarom wordt beschreven dat BitNet b1.58 ongeveer 1,58 bits per gewicht gebruikt?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarom wordt beschreven dat BitNet b1.58 ongeveer 1,58 bits per gewicht gebruikt?
    • Omdat elk gewicht drie mogelijke waarden heeft (-1, 0, +1) en log2(3) ongeveer 1,58 is
    • Omdat het wordt afgerond op 2 bits
    • Omdat het 1,58 GB geheugen gebruikt
    • Omdat 1,58 het gemiddelde is van 1 en 2 bits
  2. Wat maakt de matrixbewerkingen van BitNet goedkoper dan in standaardmodellen?
    • Ze slaan het aandachtsmechanisme over
    • Gewichten van -1, 0, +1 zetten vermenigvuldigingen om in optellingen en aftrekkingen
    • Ze gebruiken een kleinere woordenschat
    • Ze draaien alleen op TPU's
  3. Een belangrijk verschil tussen BitNet en gewone kwantisering na de training is dat BitNet:
    • Kwantiseert alleen nadat de training is voltooid
    • Er kan helemaal niet getraind worden
    • Wordt vanaf nul getraind met lage gewichten
    • Maakt intern gebruik van 32-bits gewichten
  4. Hoe werkt BitNet tijdens de training de gewichten bij, ondanks de niet-differentieerbare kwantiseringsstap?
    • Het bevriest alle gewichten
    • Er wordt getraind zonder hellingen
    • Er wordt alleen gebruik gemaakt van versterkend leren
    • Er wordt gebruik gemaakt van een straight-through schatter met schaduwgewichten met een hogere nauwkeurigheid
  5. Welk extra voordeel biedt het toestaan van de waarde 0 (ternair, niet puur binair)?
    • Ingebouwde spaarzaamheid, omdat op nul geplaatste gewichten kunnen worden overgeslagen
    • Hogere precisie dan drijvende komma
    • Snellere internetverbinding
    • Grotere woordenschatgrootte
  6. Wat is de belangrijkste hardware-uitdaging voor het realiseren van de volledige efficiëntiewinst van BitNet?
    • Er zijn geen GPU's meer in de wereld
    • De meeste huidige chips zijn geoptimaliseerd voor drijvende-kommaberekeningen, niet voor ternaire optellingen
    • Ternaire modellen hebben kwantumcomputers nodig
    • De modellen zijn te klein om er toe te doen
  7. If a BitNet weight is zero, what does it contribute to a dot product?
    • It multiplies the activation by negative one
    • It adds a full-precision matrix multiply
    • It contributes zero and can potentially be skipped by suitable hardware
    • It changes the number of model layers
  8. Why are higher-precision shadow weights retained during BitNet training?
    • To perform inference with full-precision weights only
    • To store the tokenizer vocabulary
    • To replace the straight-through estimator with exact gradients
    • To maintain trainable values for gradient updates despite low-bit forward quantization