Викторина по 1-битным и троичным моделям BitNet

Ответы и пояснения появляются по мере прохождения теста.

1. Почему BitNet b1.58 использует примерно 1,58 бита на вес?
   • Поскольку каждый вес имеет три возможных значения (-1, 0, +1), а log2(3) составляет около 1,58.
   • Потому что оно округляется до 2 бит
   • Потому что он использует 1,58 ГБ памяти.
   • Потому что 1,58 — это среднее между 1 и 2 битами.
2. Что делает матричные операции BitNet дешевле, чем в стандартных моделях?
   • Они пропускают механизм внимания
   • Веса -1, 0, +1 превращают умножение в сложение и вычитание.
   • Они используют меньший словарный запас
   • Они работают только на ТПУ
3. Ключевое различие между BitNet и обычным квантованием после обучения заключается в том, что BitNet:
   • Квантуется только после завершения обучения
   • вообще нельзя обучать
   • Обучается с нуля с малоразрядными весами
   • Внутренне использует 32-битные веса
4. Как BitNet обновляет веса во время обучения, несмотря на этап недифференцируемого квантования?
   • Он замораживает все веса
   • Он тренируется без градиентов
   • Он использует только обучение с подкреплением
   • Он использует сквозной оценщик с более точными весами теней.
5. Какое дополнительное преимущество дает разрешение значения 0 (троичного, а не чисто двоичного)?
   • Встроенная разреженность, поскольку обнуленные веса можно пропустить.
   • Более высокая точность, чем с плавающей запятой
   • Более быстрое подключение к Интернету
   • Больший размер словарного запаса
6. Какова основная аппаратная проблема для реализации полного повышения эффективности BitNet?
   • В мире не осталось графических процессоров
   • Большинство современных микросхем оптимизированы для вычислений с плавающей запятой, а не для троичных операций только сложения.
   • Тернарным моделям нужны квантовые компьютеры
   • Модели слишком малы, чтобы иметь значение
7. If a BitNet weight is zero, what does it contribute to a dot product?
   • It multiplies the activation by negative one
   • It adds a full-precision matrix multiply
   • It contributes zero and can potentially be skipped by suitable hardware
   • It changes the number of model layers
8. Why are higher-precision shadow weights retained during BitNet training?
   • To perform inference with full-precision weights only
   • To store the tokenizer vocabulary
   • To replace the straight-through estimator with exact gradients
   • To maintain trainable values for gradient updates despite low-bit forward quantization