گائیڈ سے منسلک کوئز · درمیانہ سطح
ترتیب ماڈل کوئز میں استاد زبردستی کر رہے ہیں۔
چیک کرتا ہے کہ زمینی سچائی کے سابقے کس طرح سیکوینس ڈیکوڈر کو تربیت دیتے ہیں، کس طرح کازل ماسک متوازی ٹریننگ کو سپورٹ کرتے ہیں، اور اندازہ کیوں مختلف ہوتا ہے۔
سوال 1 کی 8
اساتذہ کو زبردستی کرنے کے دوران، ہر ڈی کوڈنگ مرحلے پر ان پٹ کے طور پر کیا دیا جاتا ہے؟
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- اساتذہ کو زبردستی کرنے کے دوران، ہر ڈی کوڈنگ مرحلے پر ان پٹ کے طور پر کیا دیا جاتا ہے؟
- زمینی سچائی پچھلا ٹوکن
- ماڈل کی اپنی سابقہ پیشین گوئی
- ایک بے ترتیب ٹوکن
- حتمی آؤٹ پٹ ٹوکن
- During teacher-forced training, what target is paired with decoder input y_(t−1)?
- The previous ground-truth token
- The next target token y_t
- A token sampled from the validation set
- The maximum-probability output from an earlier training run
- اساتذہ کے زبردستی کی وجہ سے ٹرین ٹیسٹ میں مماثلت کے نام سے جانا جاتا ہے:
- غائب ہونے والے میلان
- موڈ کا خاتمہ
- نمائش کا تعصب
- لیبل کا رساو
- ٹرانسفارمر ڈیکوڈر میں، کون سا طریقہ کار اساتذہ کی مجبوری کی تربیت کو تمام عہدوں پر متوازی چلنے دیتا ہے؟
- ڈراپ آؤٹ
- بیچ نارملائزیشن
- بیم کی تلاش
- ایک وجہ (آگے دیکھو) توجہ کا ماسک
- تخمینہ کے وقت، استاد کو زبردستی کیوں استعمال نہیں کیا جا سکتا؟
- فیڈ کرنے کے لیے کوئی زمینی سچائی مستقبل کے ٹوکن نہیں ہیں۔
- نقصان کا فنکشن دستیاب نہیں ہے۔
- GPU بہت سست ہے۔
- توجہ کے ماسک غیر فعال ہیں۔
- اساتذہ کی جبری تربیت کے دوران عام طور پر ہر قدم پر کون سا نقصان استعمال ہوتا ہے؟
- خام لاگٹس پر مربع غلطی کا مطلب ہے۔
- پیشین گوئی شدہ تقسیم اور صحیح اگلے ٹوکن کے درمیان کراس اینٹروپی
- ایمبیڈنگز پر قبضہ کا نقصان
- کوزائن مماثلت کا نقصان
- The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
- The model’s prediction for “green”
- The future token after “green”
- The ground-truth previous token “blue”
- A randomly sampled vocabulary item
- At decoder position t, which tokens must a causal attention mask block?
- The source sequence
- All earlier target tokens
- The current position’s own input
- Target tokens at positions later than t