QLoRA এবং 4-বিট ফাইন-টিউনিং কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. QLoRA এর '4-বিট' অংশের পিছনে মূল স্মৃতি-সংরক্ষণের ধারণা কী?
   • এটি হিমায়িত বেস মডেলের ওজনকে 4 বিট পর্যন্ত কম করে
   • এটি মডেলের স্তরগুলির 75% মুছে ফেলে
   • এটি মাত্র 4টি যুগে মডেলটিকে প্রশিক্ষণ দেয়
   • এটি অনেকের পরিবর্তে মাত্র 4টি জিপিইউ ব্যবহার করে
2. QLoRA ফাইন-টিউনিংয়ের সময়, কোন প্যারামিটারগুলি আসলে গ্রেডিয়েন্ট ডিসেন্ট দ্বারা আপডেট হয়?
   • মডেলের মূল ওজন সব
   • শুধুমাত্র ছোট নিম্ন-র্যাঙ্কের LoRA অ্যাডাপ্টার ম্যাট্রিক্স
   • 4-বিট কোয়ান্টাইজেশন ধ্রুবক
   • টোকেনাইজারের শব্দভাণ্ডার
3. QLoRA প্রসঙ্গে NF4 কি?
   • একটি 4-স্তর নিউরাল নেটওয়ার্ক
   • একটি নতুন অপ্টিমাইজার অ্যালগরিদম
   • সাধারণত বিতরণ করা ওজনের জন্য অপ্টিমাইজ করা একটি 4-বিট ডেটা টাইপ
   • একটি 4-নোড GPU ক্লাস্টার বিন্যাস
4. QLoRA ঠিকানায় 'পেজড অপ্টিমাইজার' কি সমস্যা করে?
   • মডেল ফাইলের ধীর ইন্টারনেট ডাউনলোড
   • ভুল টোকেনাইজেশন
   • ছোট ডেটাসেটে ওভারফিটিং
   • দীর্ঘ সিকোয়েন্সের সময় মেমরির বাইরে স্পাইক
5. প্রশিক্ষণের সময় 4-বিট ওজনগুলি কখন উচ্চ নির্ভুলতায় রূপান্তরিত হয়?
   • ম্যাট্রিক্স গুণনের সময় ঠিক সময়ে, তারপর বাতিল করা হয়
   • তারা কখনই ধর্মান্তরিত হয় না; গণিত 4 বিটে করা হয়
   • প্রশিক্ষণের একেবারে শুরুতে মাত্র একবার
   • প্রশিক্ষণ শেষ হলেই
6. মূল QLoRA কাগজ গুণমান সম্পর্কে কি প্রদর্শন করেছে?
   • 4-বিট ফাইন-টিউনিং সর্বদা সম্পূর্ণ ফাইন-টিউনিংকে বীট করে
   • একটি GPU-তে একটি 65B মডেলের ফাইন-টিউনিং সম্পূর্ণ 16-বিট ফাইন-টিউনিং গুণমানের সাথে মেলে
   • কোয়ান্টাইজেশন 8 বিটের নীচে মডেলগুলিকে অকেজো করে তোলে
   • শুধুমাত্র ছোট মডেল এইভাবে সূক্ষ্ম-টিউন করা যেতে পারে
7. What does QLoRA’s double-quantization step compress?
   • টোকেনাইজার শব্দভাণ্ডার
   • The LoRA adapter rank
   • The quantization constants used to represent the 4-bit weights
   • The training examples’ text labels
8. How can one QLoRA base model support multiple task-specific versions?
   • They delete the optimizer state after every token
   • They increase the base model from 4-bit to 32-bit
   • They move all activations into the tokenizer
   • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks