क्रमिक संचय प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. ग्रेडिएंट संचय मुख्य रूप से आपको क्या करने देता है?
   • बिना किसी जीपीयू के ट्रेन
   • बैकवर्ड पास छोड़ें
   • सीमित मेमोरी पर बड़े प्रभावी बैच आकार का अनुकरण करें
   • ऑप्टिमाइज़र को पूरी तरह से हटा दें
2. माइक्रो-बैच आकार 4 और 8 संचय चरणों के साथ, प्रभावी बैच आकार है:
   • 32
   • 4
   • 8
   • 12
3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
   • प्रत्येक माइक्रो-बैच के बाद
   • कभी नहीं
   • फॉरवर्ड पास से पहले
   • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
4. प्रभावी सीखने की दर को सही रखने के लिए, प्रति-माइक्रो-बैच हानि आमतौर पर होती है:
   • एन से गुणा किया गया
   • संचय चरणों की संख्या से विभाजित एन
   • शून्य पर सेट करें
   • सटीकता के साथ बदला गया
5. कौन सी सामान्यीकरण परत ग्रेडिएंट संचय के साथ अधिक सफाई से जुड़ती है?
   • परत या समूह सामान्यीकरण, क्योंकि वे बैच आँकड़ों पर निर्भर नहीं होते हैं
   • बैच सामान्यीकरण, क्योंकि यह छोटे बैचों को पसंद करता है
   • इसके साथ कोई सामान्यीकरण काम नहीं करता
   • केवल ड्रॉपआउट
6. ग्रेडिएंट संचय का उपयोग करने की मुख्य लागत है:
   • चरम पर अधिक GPU मेमोरी का उपयोग किया गया
   • सभी ग्रेडियेंट का नुकसान
   • प्रभावी अद्यतन के अनुसार दीवार-घड़ी का लंबा समय
   • ऑप्टिमाइज़र का उपयोग करने में असमर्थता
7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
   • The model weights are deleted
   • The earlier micro-batch contributions to the accumulated update
   • The effective batch becomes four times larger
   • The loss automatically becomes zero
8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
   • The optimizer cannot accept four backward passes
   • Gradient addition is forbidden in BatchNorm
   • The number of training examples changes
   • BatchNorm uses statistics from each micro-batch rather than the combined batch