اختبار مرتبط بالدليل · صعب المستوى

اختبار نماذج 1-بت وثلاثية BitNet

التحقق من الأوزان الثلاثية، وحساب 1.58 بت، وعمليات المصفوفة ذات البتات المنخفضة، والتدريب المباشر ومقايضات الأجهزة.

مسارات الدليل ذات الصلةنماذج 1 بت وثلاثية Bitnet

سؤال 1 من 8

لماذا يتم وصف BitNet b1.58 بأنه يستخدم حوالي 1.58 بت لكل وزن؟

معاينة كل سؤال8 أسئلة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

لماذا يتم وصف BitNet b1.58 بأنه يستخدم حوالي 1.58 بت لكل وزن؟
- لأن كل وزن له ثلاث قيم محتملة (-1، 0، +1) وlog2(3) يساوي 1.58 تقريبًا
- لأنه يتم تقريبه إلى 2 بت
- لأنه يستخدم 1.58 جيجابايت من الذاكرة
- لأن 1.58 هو متوسط 1 و 2 بت
ما الذي يجعل عمليات مصفوفة BitNet أرخص من النماذج القياسية؟
- إنهم يتخطون آلية الانتباه
- الأوزان -1، 0، +1 تحول الضرب إلى عمليات جمع وطرح
- يستخدمون مفردات أصغر
- أنها تعمل فقط على TPU
يتمثل الاختلاف الرئيسي بين BitNet والتكميم العادي بعد التدريب في أن BitNet:
- الكميات فقط بعد اكتمال التدريب
- لا يمكن تدريبه على الإطلاق
- يتم تدريبه من الصفر بأوزان منخفضة
- يستخدم أوزان 32 بت داخليًا
أثناء التدريب، كيف تقوم BitNet بتحديث الأوزان على الرغم من خطوة التكميم غير القابلة للتفاضل؟
- يجمد جميع الأوزان
- يتدرب بدون تدرجات
- ويستخدم التعلم المعزز فقط
- ويستخدم مقدرًا مباشرًا بأوزان ظل عالية الدقة
ما هي الفائدة الإضافية التي يوفرها السماح بالقيمة 0 (الثنائية، وليست الثنائية النقية)؟
- متناثرة مدمجة، حيث يمكن تخطي الأوزان الصفرية
- دقة أعلى من النقطة العائمة
- اتصال أسرع بالإنترنت
- حجم مفردات أكبر
ما هو التحدي الرئيسي الذي يواجه الأجهزة لتحقيق مكاسب الكفاءة الكاملة لـ BitNet؟
- لم تعد هناك وحدات معالجة رسوميات متبقية في العالم
- تم تحسين معظم الرقائق الحالية من أجل العمليات الحسابية ذات الفاصلة العائمة، وليس العمليات الثلاثية الإضافية فقط
- تحتاج النماذج الثلاثية إلى أجهزة كمبيوتر كمومية
- النماذج صغيرة جدًا بحيث لا تشكل أهمية
If a BitNet weight is zero, what does it contribute to a dot product?
- It multiplies the activation by negative one
- It adds a full-precision matrix multiply
- It contributes zero and can potentially be skipped by suitable hardware
- It changes the number of model layers
Why are higher-precision shadow weights retained during BitNet training?
- To perform inference with full-precision weights only
- To store the tokenizer vocabulary
- To replace the straight-through estimator with exact gradients
- To maintain trainable values for gradient updates despite low-bit forward quantization