1-বিট এবং টারনারি বিটনেট মডেল কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. কেন BitNet b1.58 কে ওজন প্রতি প্রায় 1.58 বিট ব্যবহার করা হয়েছে?
   • কারণ প্রতিটি ওজনের তিনটি সম্ভাব্য মান রয়েছে (-1, 0, +1) এবং log2(3) প্রায় 1.58
   • কারণ এটি 2 বিটে রাউন্ড করে
   • কারণ এটি 1.58 জিবি মেমরি ব্যবহার করে
   • কারণ 1.58 হল 1 এবং 2 বিটের গড়
2. কি বিটনেট এর ম্যাট্রিক্স অপারেশন স্ট্যান্ডার্ড মডেলের তুলনায় সস্তা করে তোলে?
   • তারা মনোযোগের প্রক্রিয়া এড়িয়ে যায়
   • -1, 0, +1 এর ওজন গুণকে যোগ এবং বিয়োগে পরিণত করে
   • তারা একটি ছোট শব্দভান্ডার ব্যবহার করে
   • তারা শুধুমাত্র TPU তে চলে
3. বিটনেট এবং সাধারণ পোস্ট-ট্রেনিং কোয়ান্টাইজেশনের মধ্যে একটি মূল পার্থক্য হল বিটনেট:
   • প্রশিক্ষণ সম্পূর্ণ হওয়ার পরেই পরিমাপ করা হয়
   • মোটেও প্রশিক্ষণ দেওয়া যাবে না
   • কম-বিট ওজনের সাথে স্ক্র্যাচ থেকে প্রশিক্ষিত
   • অভ্যন্তরীণভাবে 32-বিট ওজন ব্যবহার করে
4. প্রশিক্ষণের সময়, কীভাবে বিটনেট অ-পার্থক্যযোগ্য পরিমাপকরণ পদক্ষেপ সত্ত্বেও ওজন আপডেট করে?
   • এটি সমস্ত ওজন হিমায়িত করে
   • এটা গ্রেডিয়েন্ট ছাড়া ট্রেন
   • এটি শুধুমাত্র শক্তিবৃদ্ধি শিক্ষা ব্যবহার করে
   • এটি উচ্চ-নির্ভুল ছায়া ওজন সহ একটি সোজা-থ্রু অনুমানকারী ব্যবহার করে
5. মান 0 (টার্নারি, বিশুদ্ধ বাইনারি নয়) অনুমতি দিলে কী অতিরিক্ত সুবিধা পাওয়া যায়?
   • অন্তর্নির্মিত স্প্যার্সিটি, যেহেতু শূন্য ওজন এড়িয়ে যেতে পারে
   • ভাসমান পয়েন্টের চেয়ে উচ্চ নির্ভুলতা
   • দ্রুততর ইন্টারনেট সংযোগ
   • বড় শব্দভান্ডার আকার
6. BitNet এর সম্পূর্ণ দক্ষতা লাভ উপলব্ধি করার জন্য প্রধান হার্ডওয়্যার চ্যালেঞ্জ কি?
   • পৃথিবীতে কোন জিপিইউ অবশিষ্ট নেই
   • বেশিরভাগ বর্তমান চিপগুলি ফ্লোটিং-পয়েন্ট গণিতের জন্য অপ্টিমাইজ করা হয়েছে, কেবলমাত্র যোগ-সংযোজন নয়
   • টার্নারি মডেলের জন্য কোয়ান্টাম কম্পিউটার প্রয়োজন
   • মডেল খুব ছোট ব্যাপার
7. If a BitNet weight is zero, what does it contribute to a dot product?
   • It multiplies the activation by negative one
   • It adds a full-precision matrix multiply
   • It contributes zero and can potentially be skipped by suitable hardware
   • It changes the number of model layers
8. Why are higher-precision shadow weights retained during BitNet training?
   • To perform inference with full-precision weights only
   • To store the tokenizer vocabulary
   • To replace the straight-through estimator with exact gradients
   • To maintain trainable values for gradient updates despite low-bit forward quantization