وارم اپ اور کوزائن اینیلنگ شیڈولز کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. تربیت کے آغاز میں وارم اپ مرحلے کا بنیادی مقصد کیا ہے؟
   • ابتدائی تربیت کو مستحکم کرنے کے لیے جب وزن بے ترتیب ہو اور میلان شور ہو۔
   • بیچ کے سائز کو آہستہ آہستہ بڑھانے کے لیے
   • ماڈل کی نیچے کی تہوں کو منجمد کرنے کے لیے
   • تیز تر اندازہ لگانے کے لیے ماڈل کو سکیڑنا
2. کوزائن اینیلنگ کس شکل کے بعد سیکھنے کی شرح کو ختم کرتی ہے؟
   • ایک سیدھی ترچھی لکیر
   • ایک کوسائن وکر جو اونچا شروع ہوتا ہے، آسان ہوتا ہے، اور صفر کے قریب چپٹا ہوتا ہے۔
   • ایک مرحلہ فنکشن جو مقررہ ادوار پر گرتا ہے۔
   • اوپر کی طرف ایک تیز رفتار اضافہ
3. کون سا آپٹیمائزر خاص طور پر وارم اپ سے فائدہ اٹھاتا ہے کیونکہ اس کے مختلف اندازے ابتدائی طور پر ناقابل اعتبار ہیں؟
   • سادہ SGD بغیر کسی رفتار کے
   • گرڈ کی تلاش
   • آدم اور اس کی قسمیں
   • K کا مطلب ہے۔
4. کوزائن فارمولے میں، T کس چیز کی نمائندگی کرتا ہے؟
   • نمونے لینے کے لیے ماڈل کا درجہ حرارت
   • استعمال شدہ GPUs کی تعداد
   • ٹوکنائزر الفاظ کا سائز
   • شیڈول میں تربیتی مراحل کی کل تعداد
5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
   • Cosine decay begins from the peak learning rate
   • All model weights are reset
   • The schedule switches to a constant zero rate
   • Momentum is removed from every optimizer
6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
   • The full target rate
   • About half of the target rate
   • The learning rate is exactly zero
   • Twice the target rate
7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
   • ایک
   • One-half
   • صفر
   • It becomes negative one
8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
   • It guarantees a global minimum
   • It increases the model’s parameter count
   • It removes the need to check training loss
   • It lets the rate ease down so optimization can settle gradually