স্ট্রাকচার্ড প্রুনিং এবং লেয়ার ড্রপিং কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. কেন কাঠামোবদ্ধ ছাঁটাই প্রকৃত গতির উত্পাদন করে যখন অসংগঠিত ছাঁটাই প্রায়শই হয় না?
   • স্ট্রাকচার্ড ছাঁটাই সুসঙ্গত ব্লকগুলিকে সরিয়ে দেয় যা আসলে টেনসরগুলিকে সঙ্কুচিত করে
   • অসংগঠিত ছাঁটাই মডেলের আকার বাড়ায়
   • কাঠামোগত ছাঁটাই আরও স্তর যুক্ত করে
   • অসংগঠিত ছাঁটাই শুধুমাত্র CPU-তে কাজ করে
2. ট্রান্সফরমার প্রসঙ্গে 'লেয়ার ড্রপিং' কি?
   • স্তর প্রতি শেখার হার হ্রাস
   • মডেলের গভীরতা কমাতে সম্পূর্ণ ট্রান্সফরমার ব্লক মুছে ফেলা হচ্ছে
   • প্রতিটি স্তরে ড্রপআউট যোগ করা হচ্ছে
   • এলোমেলোভাবে স্তরগুলি পুনরায় সাজানো
3. কোন সংকেত সাধারণত নির্দেশ করে যে একটি ট্রান্সফরমার স্তর নিরাপদে ড্রপ করা যেতে পারে?
   • স্তরটিতে সর্বাধিক পরামিতি রয়েছে
   • স্তরটি নেটওয়ার্কে প্রথম
   • লেয়ারের ইনপুট এবং আউটপুট লুকানো অবস্থা খুব একই রকম
   • স্তরটি সর্বাধিক মেমরি ব্যবহার করে
4. কাঠামোগত ছাঁটাইয়ের পরে কোন ধাপটি সাধারণত সঠিকতা পুনরুদ্ধার করে?
   • শুধুমাত্র ব্যাচ আকার বৃদ্ধি
   • 16 বিট রি-কোয়ান্টাইজিং
   • আরো মনোযোগ মাথা যোগ করা
   • ফাইন-টিউনিং বা জ্ঞান পাতনের একটি ছোট রাউন্ড
5. কিভাবে ব্যক্তিগত মনোযোগ মাথা প্রায়ই ছাঁটাই জন্য র্যাঙ্ক করা হয়?
   • মাথা মুখোশ করা হলে ক্ষতি বৃদ্ধির দ্বারা (সংবেদনশীলতা)
   • বর্ণানুক্রমিকভাবে
   • শব্দভান্ডার তাদের অবস্থান দ্বারা
   • তারা দেখেছে টোকেন সংখ্যা দ্বারা
6. পাতনের সাথে মিলিত কাঠামোগত ছাঁটাইয়ের একটি প্রধান ব্যবহারিক ব্যবহার কী?
   • স্বয়ংক্রিয়ভাবে প্রশিক্ষণ ডেটা তৈরি করা হচ্ছে
   • একটি বড় চেকপয়েন্ট থেকে ছোট, দ্রুত মডেলের একটি পরিবার তৈরি করা
   • মডেলের ওজন এনক্রিপ্ট করা হচ্ছে
   • প্রসঙ্গ উইন্ডো দৈর্ঘ্য বৃদ্ধি
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • এটি বৈধতার প্রয়োজনীয়তা দূর করে
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping