Kuis Model BitNet 1-Bit dan Ternary

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Mengapa BitNet b1.58 digambarkan menggunakan sekitar 1,58 bit per bobot?
   • Karena setiap bobot memiliki tiga kemungkinan nilai (-1, 0, +1) dan log2(3) adalah sekitar 1,58
   • Karena dibulatkan menjadi 2 bit
   • Karena menggunakan memori 1,58 GB
   • Karena 1,58 adalah rata-rata dari 1 dan 2 bit
2. Apa yang membuat operasi matriks BitNet lebih murah dibandingkan model standar?
   • Mereka melewatkan mekanisme perhatian
   • Bobot -1, 0, +1 mengubah perkalian menjadi penjumlahan dan pengurangan
   • Mereka menggunakan kosakata yang lebih sedikit
   • Mereka hanya berjalan di TPU
3. Perbedaan utama antara BitNet dan kuantisasi pasca-pelatihan biasa adalah BitNet:
   • Hanya dikuantisasi setelah pelatihan selesai
   • Tidak bisa dilatih sama sekali
   • Dilatih dari awal dengan beban rendah
   • Menggunakan bobot 32-bit secara internal
4. Selama pelatihan, bagaimana BitNet memperbarui bobot meskipun langkah kuantisasinya tidak dapat dibedakan?
   • Itu membekukan semua beban
   • Ia berlatih tanpa gradien
   • Ini hanya menggunakan pembelajaran penguatan
   • Ini menggunakan penduga langsung dengan bobot bayangan presisi lebih tinggi
5. Apa manfaat tambahan yang diberikan dengan mengizinkan nilai 0 (terner, bukan biner murni)?
   • Ketersebaran bawaan, karena bobot yang dipusatkan dapat dilewati
   • Presisi lebih tinggi dari floating point
   • Konektivitas internet lebih cepat
   • Ukuran kosakata yang lebih besar
6. Apa tantangan perangkat keras utama untuk mewujudkan peningkatan efisiensi penuh BitNet?
   • Tidak ada GPU yang tersisa di dunia
   • Kebanyakan chip saat ini dioptimalkan untuk matematika floating-point, bukan operasi ternary tambahan saja
   • Model ternary membutuhkan komputer kuantum
   • Modelnya terlalu kecil untuk menjadi masalah
7. If a BitNet weight is zero, what does it contribute to a dot product?
   • It multiplies the activation by negative one
   • It adds a full-precision matrix multiply
   • It contributes zero and can potentially be skipped by suitable hardware
   • It changes the number of model layers
8. Why are higher-precision shadow weights retained during BitNet training?
   • To perform inference with full-precision weights only
   • To store the tokenizer vocabulary
   • To replace the straight-through estimator with exact gradients
   • To maintain trainable values for gradient updates despite low-bit forward quantization