Kuiz Model 1-Bit dan Ternary BitNet

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Mengapakah BitNet b1.58 digambarkan menggunakan kira-kira 1.58 bit setiap berat?
   • Kerana setiap pemberat mempunyai tiga nilai yang mungkin (-1, 0, +1) dan log2(3) ialah kira-kira 1.58
   • Kerana ia membundar kepada 2 bit
   • Kerana ia menggunakan memori 1.58 GB
   • Kerana 1.58 adalah purata 1 dan 2 bit
2. Apakah yang menjadikan operasi matriks BitNet lebih murah daripada model standard?
   • Mereka melangkau mekanisme perhatian
   • Wajaran -1, 0, +1 menukarkan pendaraban kepada penambahan dan penolakan
   • Mereka menggunakan perbendaharaan kata yang lebih kecil
   • Mereka berjalan hanya pada TPU
3. Perbezaan utama antara BitNet dan kuantisasi pasca latihan biasa ialah BitNet:
   • Hanya kuantiti selepas latihan selesai
   • Tidak boleh dilatih sama sekali
   • Dilatih dari awal dengan berat bit rendah
   • Menggunakan pemberat 32-bit secara dalaman
4. Semasa latihan, bagaimanakah BitNet mengemas kini berat walaupun langkah pengkuantitian tidak boleh dibezakan?
   • Ia membekukan semua berat
   • Ia berlatih tanpa kecerunan
   • Ia menggunakan pembelajaran pengukuhan sahaja
   • Ia menggunakan penganggar lurus dengan berat bayang-bayang ketepatan lebih tinggi
5. Apakah faedah tambahan yang diberikan oleh membenarkan nilai 0 (ternari, bukan binari tulen)?
   • Sparsity terbina dalam, kerana pemberat sifar boleh dilangkau
   • Ketepatan yang lebih tinggi daripada titik terapung
   • Sambungan internet yang lebih pantas
   • Saiz kosa kata yang lebih besar
6. Apakah cabaran perkakasan utama untuk merealisasikan keuntungan kecekapan penuh BitNet?
   • Tiada GPU yang tinggal di dunia
   • Kebanyakan cip semasa dioptimumkan untuk matematik titik terapung, bukan operasi ternari tambahan sahaja
   • Model ternary memerlukan komputer kuantum
   • Model terlalu kecil untuk diambil kira
7. If a BitNet weight is zero, what does it contribute to a dot product?
   • It multiplies the activation by negative one
   • It adds a full-precision matrix multiply
   • It contributes zero and can potentially be skipped by suitable hardware
   • It changes the number of model layers
8. Why are higher-precision shadow weights retained during BitNet training?
   • To perform inference with full-precision weights only
   • To store the tokenizer vocabulary
   • To replace the straight-through estimator with exact gradients
   • To maintain trainable values for gradient updates despite low-bit forward quantization