Тест, свързан с ръководство · трудно Ниво

Тест за 1-битови и троични модели на BitNet

Проверява трикомпонентни тегла, 1,58-битово изчисление, нискобитови матрични операции, директно обучение и хардуерни компромиси.

Свързани ръководни пътеки1-битови и трикомпонентни битнет модели
Въпрос 1 на 8

Защо BitNet b1.58 е описан като използващ приблизително 1,58 бита на тегло?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Защо BitNet b1.58 е описан като използващ приблизително 1,58 бита на тегло?
    • Тъй като всяко тегло има три възможни стойности (-1, 0, +1) и log2(3) е около 1,58
    • Защото закръгля до 2 бита
    • Защото използва 1,58 GB памет
    • Защото 1,58 е средната стойност на 1 и 2 бита
  2. Какво прави матричните операции на BitNet по-евтини от стандартните модели?
    • Те пропускат механизма на вниманието
    • Тегла от -1, 0, +1 превръщат умноженията в събирания и изваждания
    • Те използват по-малък речник
    • Те работят само на TPU
  3. Ключова разлика между BitNet и обикновеното квантуване след обучение е, че BitNet:
    • Квантува само след приключване на обучението
    • Изобщо не може да се обучава
    • Тренира се от нулата с малки тежести
    • Използва вътрешно 32-битови тегла
  4. По време на обучението, как BitNet актуализира теглата въпреки недиференцируемата стъпка на квантуване?
    • Замразява всички тежести
    • Тренира се без градиенти
    • Използва само обучение с подсилване
    • Той използва директен оценител с тегла на сенките с по-висока точност
  5. Каква допълнителна полза предоставя разрешаването на стойност 0 (троична, а не чиста двоична)?
    • Вградена рядкост, тъй като нулираните тегла могат да бъдат пропуснати
    • По-висока точност от плаваща запетая
    • По-бърза интернет връзка
    • По-голям обем на речника
  6. Кое е основното хардуерно предизвикателство за реализиране на пълната ефективност на BitNet?
    • В света не са останали графични процесори
    • Повечето настоящи чипове са оптимизирани за математика с плаваща запетая, а не за троични операции само за добавяне
    • Тройните модели се нуждаят от квантови компютри
    • Моделите са твърде малки, за да имат значение
  7. If a BitNet weight is zero, what does it contribute to a dot product?
    • It multiplies the activation by negative one
    • It adds a full-precision matrix multiply
    • It contributes zero and can potentially be skipped by suitable hardware
    • It changes the number of model layers
  8. Why are higher-precision shadow weights retained during BitNet training?
    • To perform inference with full-precision weights only
    • To store the tokenizer vocabulary
    • To replace the straight-through estimator with exact gradients
    • To maintain trainable values for gradient updates despite low-bit forward quantization