سٹرکچرڈ پرننگ اور لیئر ڈراپنگ کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. ساختی کٹائی کیوں حقیقی رفتار پیدا کرتی ہے جبکہ غیر ساختہ کٹائی اکثر ایسا نہیں کرتی؟
   • ساختی کٹائی سے مربوط بلاکس کو ہٹا دیا جاتا ہے جو دراصل ٹینسر کو سکڑتے ہیں۔
   • غیر ساختہ کٹائی سے ماڈل کے سائز میں اضافہ ہوتا ہے۔
   • ساختی کٹائی مزید تہوں کا اضافہ کرتی ہے۔
   • غیر ساختہ کٹائی صرف CPUs پر کام کرتی ہے۔
2. ٹرانسفارمرز کے تناظر میں 'پرت گرنا' کیا ہے؟
   • فی پرت سیکھنے کی شرح کو کم کرنا
   • ماڈل کی گہرائی کو کم کرنے کے لیے پورے ٹرانسفارمر بلاکس کو حذف کرنا
   • ہر پرت میں ڈراپ آؤٹ شامل کرنا
   • تہوں کو تصادفی طور پر دوبارہ ترتیب دینا
3. کون سا سگنل عام طور پر اشارہ کرتا ہے کہ ٹرانسفارمر کی تہہ کو محفوظ طریقے سے گرایا جا سکتا ہے؟
   • پرت میں سب سے زیادہ پیرامیٹرز ہیں۔
   • پرت نیٹ ورک میں پہلی ہے۔
   • پرت کی ان پٹ اور آؤٹ پٹ پوشیدہ حالتیں بہت ملتی جلتی ہیں۔
   • پرت سب سے زیادہ میموری استعمال کرتی ہے۔
4. کون سا مرحلہ عام طور پر ساختی کٹائی کے بعد درستگی کو بحال کرتا ہے؟
   • صرف بیچ کا سائز بڑھانا
   • 16 بٹس کو دوبارہ مقدار میں تبدیل کرنا
   • مزید توجہ دینے والے سروں کو شامل کرنا
   • فائن ٹیوننگ یا علم کشید کا ایک مختصر دور
5. انفرادی توجہ کے سروں کو اکثر کٹائی کے لیے کس طرح درجہ دیا جاتا ہے؟
   • نقصان میں اضافے سے جب سر کو نقاب پوش کیا جاتا ہے (حساسیت)
   • حروف تہجی کی ترتیب سے
   • ذخیرہ الفاظ میں ان کی حیثیت سے
   • انہوں نے جتنے ٹوکن دیکھے ہیں۔
6. ڈسٹلیشن کے ساتھ مل کر ساختی کٹائی کا ایک بڑا عملی استعمال کیا ہے؟
   • تربیت کا ڈیٹا خود بخود تیار کرنا
   • ایک بڑی چوکی سے چھوٹے، تیز ماڈلز کی فیملی حاصل کرنا
   • ماڈل کے وزن کو خفیہ کرنا
   • سیاق و سباق کی کھڑکی کی لمبائی میں اضافہ
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping