স্মুথকোয়ান্ট এবং অ্যাক্টিভেশন কোয়ান্টাইজেশন কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. কম-নির্ভুলতা অনুমানে স্মুথকোয়ান্ট বিশেষভাবে কোন সমস্যাটির সমাধান করে?
   • অ্যাক্টিভেশন চ্যানেলে চরম বহির্মুখী মান
   • প্রতিনিধিত্ব করার জন্য খুব ছোট ওজন
   • ব্যাকপ্রোপাগেশনের সময় গ্রেডিয়েন্ট অদৃশ্য হয়ে যায়
   • টোকেন শব্দভান্ডার আকার সীমা
2. কিভাবে SmoothQuant অ্যাক্টিভেশনকে কোয়ান্টাইজ করা সহজ করে তোলে?
   • এটি একটি নির্দিষ্ট থ্রেশহোল্ডের উপরে সমস্ত অ্যাক্টিভেশন ক্লিপ করে
   • এটি অ্যাক্টিভেশন কমিয়ে এবং একই ফ্যাক্টর দ্বারা ওজন বৃদ্ধি করে অসুবিধা স্থানান্তরিত করে
   • এটি 8-বিটে মডেল এন্ড-টু-এন্ডকে পুনরায় প্রশিক্ষণ দেয়
   • এটি সক্রিয়করণগুলিকে শুধুমাত্র ফ্লোটিং পয়েন্টে রূপান্তর করে
3. W8A8 স্বরলিপি মানে কি?
   • 8টি ওজন স্তর এবং 8টি মনোযোগের মাথা
   • 8 এর ওজন ক্ষয় এবং 8 এর আলফা
   • 8-বিট ওজন এবং 8-বিট সক্রিয়করণ
   • 8 জন কর্মী এবং 8 টি এক্সিলারেটর
4. কেন SmoothQuant এর স্কেলিং মূলত কোন রানটাইম ওভারহেড যোগ করে না?
   • এটি একটি আলাদা ডেডিকেটেড GPU-তে চলে
   • এটি শুধুমাত্র প্রশিক্ষণের সময় প্রযোজ্য, অনুমান কখনই নয়
   • আধুনিক সিপিইউ স্কেলিং ফ্যাক্টর উপেক্ষা করে
   • স্কেলগুলি অফলাইনে সংলগ্ন ওজন বা ফিউজড অপারেশনগুলিতে শোষিত হয়
5. SmoothQuant এ আলফা হাইপারপ্যারামিটার কি ভূমিকা পালন করে?
   • এটি নিয়ন্ত্রণ করে যে কতটা বাইরের বোঝা সক্রিয়করণ থেকে ওজনে স্থানান্তরিত হয়
   • এটি ফাইন-টিউনিংয়ের জন্য শেখার হার সেট করে
   • এটি কোয়ান্টাইজেশন বিটের সংখ্যা নির্ধারণ করে
   • এটি ছাঁটাই করার জন্য কোন মনোযোগ মাথা নির্বাচন করে
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights