تدریجی جمع کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. میلان جمع بنیادی طور پر آپ کو کیا کرنے دیتا ہے؟
   • بغیر کسی GPU کے ٹرین
   • پسماندہ پاس کو چھوڑ دیں۔
   • محدود میموری پر ایک بڑے موثر بیچ سائز کی تقلید کریں۔
   • آپٹیمائزر کو مکمل طور پر ختم کریں۔
2. مائیکرو بیچ سائز 4 اور 8 جمع کرنے کے مراحل کے ساتھ، مؤثر بیچ کا سائز یہ ہے:
   • 32
   • 4
   • 8
   • 12
3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
   • ہر مائیکرو بیچ کے بعد
   • کبھی نہیں۔
   • آگے جانے سے پہلے
   • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
4. سیکھنے کی مؤثر شرح کو درست رکھنے کے لیے، فی مائیکرو بیچ نقصان عام طور پر ہوتا ہے:
   • N سے ضرب
   • جمع ہونے والے مراحل کی تعداد سے تقسیم کردہ N
   • صفر پر سیٹ کریں۔
   • درستگی کے ساتھ بدل دیا گیا۔
5. کونسی نارملائزیشن پرت میلان جمع کے ساتھ زیادہ صاف طور پر جوڑتی ہے؟
   • پرت یا گروپ نارملائزیشن، کیونکہ وہ بیچ کے اعدادوشمار پر منحصر نہیں ہیں۔
   • بیچ نارملائزیشن، کیونکہ یہ چھوٹے بیچوں کو پسند کرتا ہے۔
   • اس کے ساتھ کوئی نارملائزیشن کام نہیں کرتی
   • صرف ڈراپ آؤٹ
6. تدریجی جمع استعمال کرنے کی بنیادی قیمت ہے:
   • زیادہ GPU میموری چوٹی پر استعمال ہوتی ہے۔
   • تمام میلان کا نقصان
   • موثر اپ ڈیٹ کے مطابق وال کلاک کا طویل وقت
   • ایک اصلاح کار استعمال کرنے میں ناکامی۔
7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
   • The model weights are deleted
   • The earlier micro-batch contributions to the accumulated update
   • The effective batch becomes four times larger
   • The loss automatically becomes zero
8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
   • The optimizer cannot accept four backward passes
   • Gradient addition is forbidden in BatchNorm
   • The number of training examples changes
   • BatchNorm uses statistics from each micro-batch rather than the combined batch