گائیڈ سے منسلک کوئز · مشکل سطح
ایکٹیویشن اسٹیئرنگ اور ریپریزنٹیشن انجینئرنگ کوئز
چیک کرتا ہے کہ کس طرح ایکٹیویشن اسٹیئرنگ ویکٹر کا تخمینہ لگایا جاتا ہے، تخمینہ پر لاگو کیا جاتا ہے اور اسکیل کیا جاتا ہے، اس کے ساتھ ساتھ فوری طور پر منحصر جنرلائزیشن کے خطرات بھی۔
سوال 1 کی 8
ماڈل کے آپریشن میں کس موڑ پر ایکٹیویشن اسٹیئرنگ مداخلت کرتا ہے؟
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- ماڈل کے آپریشن میں کس موڑ پر ایکٹیویشن اسٹیئرنگ مداخلت کرتا ہے؟
- تخمینہ کے وقت، پوشیدہ ایکٹیویشنز میں ترمیم کرکے
- صرف پری ٹریننگ کے دوران
- ڈیٹا اکٹھا کرنے کے دوران
- آؤٹ پٹ ٹیکسٹ پرنٹ ہونے کے بعد ہی
- اسٹیئرنگ ویکٹر کو عام طور پر کیسے شمار کیا جاتا ہے؟
- تصادفی طور پر ایک میٹرکس شروع کرکے
- متضاد مثبت اور منفی اشارے پر ایکٹیویشن کے درمیان اوسط فرق کے طور پر
- ماڈل سے پرتوں کو حذف کرکے
- پرامپٹ میں ٹوکن گن کر
- کون سا مفروضہ اس بات کی نشاندہی کرتا ہے کہ ایکٹیویشن اسٹیئرنگ کیوں کام کرتا ہے؟
- یہ خیال کہ ماڈل ڈیٹا کو سادہ متن کے طور پر اسٹور کرتے ہیں۔
- یہ عقیدہ کہ تمام نیوران ایک جیسے ہیں۔
- لکیری نمائندگی کا مفروضہ، کہ بہت سی خصوصیات تقریباً لکیری سمتیں ہیں۔
- یہ دعویٰ کہ ماڈل تصورات کی نمائندگی نہیں کر سکتے
- اسٹیئرنگ ویکٹر پر پیمائی کا گتانک کیا کنٹرول کرتا ہے؟
- ماڈل کے الفاظ کا سائز
- ماڈل میں تہوں کی تعداد
- تربیت سیکھنے کی شرح
- رویے کو کتنی مضبوطی سے منتخب کردہ سمت میں دھکیل دیا جاتا ہے۔
- ماڈل کو زیادہ جارحانہ انداز میں چلانے کا معروف خطرہ کیا ہے؟
- آؤٹ پٹ ہم آہنگی اور صلاحیتیں کم ہو سکتی ہیں۔
- ماڈل خود بخود تربیت دیتا ہے۔
- فائل کا سائز بے قابو ہو جاتا ہے۔
- یہ مستقل طور پر وزن کو دوبارہ لکھتا ہے۔
- کون سی تکنیک کو اکثر اسٹیئرنگ کے ساتھ جوڑا جاتا ہے تاکہ کلیمپ کے لیے قابل تشریح خصوصیات تلاش کی جا سکیں؟
- جے پی ای جی کمپریشن
- اسپارس آٹو اینکوڈرز جو ایکٹیویشنز کو فیچرز میں گلا دیتے ہیں۔
- ڈومین نام کی رجسٹریشن
- ڈسک ڈیفراگمنٹیشن
- How does activation steering differ from fine-tuning the model weights?
- It retrains the model on a new labeled dataset
- It changes the tokenizer vocabulary
- It adds a vector to hidden activations during inference without updating the base weights
- It replaces the attention layers with a classifier
- A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
- The vector must be an optimizer state
- Steering always requires fine-tuning
- A residual stream contains no features
- The direction found from one prompt set may not generalize to other contexts