Вікторина, пов’язана з посібником · важко Рівень
Тест щодо 1-розрядної та потрійної моделей BitNet
Перевіряє трійкові ваги, 1,58-бітове обчислення, низькорозрядні матричні операції, наскрізне навчання та апаратні компроміси.
Питання 1 з 8
Чому описано, що BitNet b1.58 використовує приблизно 1,58 біта на вагу?
Перегляньте кожне запитання8 запитання
Відповіді та пояснення з’являються під час виконання тесту.
- Чому описано, що BitNet b1.58 використовує приблизно 1,58 біта на вагу?
- Оскільки кожна вага має три можливі значення (-1, 0, +1), а log2(3) становить приблизно 1,58
- Тому що округляється до 2 бітів
- Оскільки він використовує 1,58 ГБ пам'яті
- Оскільки 1,58 — це середнє значення 1 і 2 бітів
- Чому операції з матрицею BitNet дешевші, ніж у стандартних моделях?
- Вони пропускають механізм уваги
- Ваги -1, 0, +1 перетворюють множення на додавання та віднімання
- Вони використовують менший словниковий запас
- Вони працюють тільки на ТПУ
- Ключова відмінність BitNet від звичайного квантування після навчання полягає в тому, що BitNet:
- Квантується лише після завершення навчання
- Взагалі не піддається дресируванню
- Тренується з нуля з невеликими вагами
- Внутрішньо використовує 32-розрядні ваги
- Як під час навчання BitNet оновлює ваги, незважаючи на крок недиференційованого квантування?
- Він заморожує всі ваги
- Він тренується без градієнтів
- Він використовує лише навчання з підкріпленням
- Він використовує прямий оцінювач із високоточними тіньовими вагами
- Яку додаткову перевагу надає дозвіл значення 0 (трійкового, а не чистого двійкового)?
- Вбудована розрідженість, оскільки обнулені ваги можна пропустити
- Вища точність, ніж плаваюча кома
- Швидше підключення до Інтернету
- Більший обсяг словникового запасу
- Яка головна апаратна проблема для досягнення повного підвищення ефективності BitNet?
- У світі не залишилося графічних процесорів
- Більшість сучасних мікросхем оптимізовано для математики з плаваючою комою, а не для потрійних операцій лише з додаванням
- Для потрійних моделей потрібні квантові комп’ютери
- Моделі занадто малі, щоб мати значення
- If a BitNet weight is zero, what does it contribute to a dot product?
- It multiplies the activation by negative one
- It adds a full-precision matrix multiply
- It contributes zero and can potentially be skipped by suitable hardware
- It changes the number of model layers
- Why are higher-precision shadow weights retained during BitNet training?
- To perform inference with full-precision weights only
- To store the tokenizer vocabulary
- To replace the straight-through estimator with exact gradients
- To maintain trainable values for gradient updates despite low-bit forward quantization