گائیڈ سے منسلک کوئز · مشکل سطح
شیڈیولڈ سیمپلنگ اور ایکسپوژر بائیس کوئز
چیک کرتا ہے کہ طے شدہ نمونے لینے سے ڈیکوڈر کے سیاق و سباق کو کس طرح تبدیل ہوتا ہے، اس کا گولڈ ٹوکن امکان کیوں زوال پذیر ہوتا ہے، اور نمونے لینے کی تدریجی تجارت۔
سوال 1 کی 8
نمائش کا تعصب پیدا ہوتا ہے کیونکہ اساتذہ کے ساتھ تربیت یافتہ ماڈلز صرف اس شرط پر مجبور کرتے ہیں:
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- نمائش کا تعصب پیدا ہوتا ہے کیونکہ اساتذہ کے ساتھ تربیت یافتہ ماڈلز صرف اس شرط پر مجبور کرتے ہیں:
- زمینی سچائی کے ٹوکن، لیکن ان کا اپنا استعمال کرنا ضروری ہے۔
- ان کی اپنی پیشن گوئی ٹوکن
- بے ترتیب شور ٹوکن
- مستقبل کے ٹوکن
- تربیت کے دوران طے شدہ نمونے لینے کیا کرتا ہے؟
- ہمیشہ حقیقی ٹوکن کھلاتا ہے۔
- تصادفی طور پر صحیح ٹوکن اور ماڈل کی اپنی پیشین گوئی کے درمیان انتخاب کرتا ہے۔
- وقفے وقفے سے نقصان کے فنکشن کو غیر فعال کرتا ہے۔
- وقت کے ساتھ سیکھنے کی شرح کو دوگنا کرتا ہے۔
- طے شدہ نمونے لینے کی تربیت میں زمینی سچائی کے ٹوکن کے استعمال کا امکان کیسے بدلتا ہے؟
- یہ مستقل رہتا ہے۔
- یہ کم شروع ہوتا ہے اور بڑھتا ہے۔
- یہ اونچا شروع ہوتا ہے اور صفر کی طرف گرتا ہے۔
- یہ تصادفی طور پر گھومتا ہے۔
- کس نے طے شدہ نمونے لینے کو متعارف کرایا، اور تقریباً کب؟
- واسوانی وغیرہ، 2017
- Hinton et al.، 2006
- LeCun et al.، 1998
- Bengio et al.، 2015
- تربیت کے دوران نمونے والے ٹوکن واپس کھلانے کی ایک تسلیم شدہ تکنیکی خرابی یہ ہے کہ:
- مجرد نمونے لینے کا مرحلہ ناقابل تفریق، پیچیدہ میلان ہے۔
- یہ تربیت کو مکمل طور پر فیصلہ کن بنا دیتا ہے۔
- اس کے لیے تصدیقی ڈیٹا کی ضرورت نہیں ہے۔
- یہ سرایت کی ضرورت کو ختم کرتا ہے۔
- اساتذہ کے زبردستی امکان کو زوال پذیر کرنے کے لیے عام طور پر کس شیڈول کی شکل کا حوالہ دیا جاتا ہے؟
- مستقل
- الٹا سگمائڈ کشی
- سٹیپ اپ لکیری اضافہ
- بے ترتیب واک
- At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
- The next ground-truth token every time
- A token from a separate validation sequence
- A token sampled from the model’s predicted distribution
- The average of all vocabulary embeddings
- Why does scheduled sampling usually begin with a high probability of using ground truth?
- It guarantees unbiased gradients
- It removes the need for a training schedule
- It makes inference use ground-truth tokens
- Early predictions are poor, so a correct prefix can stabilize initial learning