स्टोकेस्टिक वज़न औसत प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. स्टोकेस्टिक वेट एवरेजिंग का वास्तव में औसत क्या है?
   • प्रशिक्षण के दौरान देर से कई बिंदुओं पर मॉडल के वजन का नमूना लिया गया
   • कई अलग-अलग प्रशिक्षित मॉडलों की भविष्यवाणियाँ
   • ग्रेडिएंट्स की गणना सभी मिनी-बैचों में की गई
   • प्रत्येक युग के दौरान उपयोग की जाने वाली सीखने की दरें
2. SWA सामान्यीकरण में सुधार क्यों करता है?
   • यह प्रशिक्षण सेट को अधिक सटीकता से याद रखता है
   • यह व्यापक, सपाट मिनिमा ढूंढता है जो अनदेखे डेटा पर अधिक मजबूत होता है
   • यह मॉडल में मापदंडों की संख्या बढ़ाता है
   • यह सत्यापन सेट की आवश्यकता को समाप्त कर देता है
3. बैच सामान्यीकरण का उपयोग करने वाले नेटवर्क के लिए SWA को किस अतिरिक्त कदम की आवश्यकता है?
   • नेटवर्क को शुरू से पुनः प्रशिक्षित करना
   • बैच का आकार दोगुना करना
   • बीएन चल रहे आँकड़ों की पुनर्गणना करने के लिए एक अतिरिक्त फॉरवर्ड पास
   • सभी ड्रॉपआउट परतों को हटाना
4. SWA औसत चरण के दौरान आमतौर पर किस सीखने की दर वाले व्यवहार का उपयोग किया जाता है?
   • सीखने की दर बिल्कुल शून्य हो गई
   • स्थिरता के लिए एक की सीखने की दर
   • चूंकि प्रशिक्षण रुका हुआ है इसलिए सीखने की कोई दर नहीं है
   • एक स्थिर या चक्रीय, अपेक्षाकृत उच्च सीखने की दर
5. एसडब्ल्यूए की अनुमान लागत की तुलना एन मॉडल के पारंपरिक समूह से कैसे की जाती है?
   • इसकी लागत लगभग एक मॉडल है, क्योंकि परिणाम वजन का एक सेट है
   • यह N गुना अधिक महंगा है
   • यह एन मॉडल चलाने के समान है
   • इसका उपयोग अनुमान के लिए नहीं किया जा सकता
6. Why does the batch-normalization adjustment belong after SWA weight averaging?
   • The averaging step deletes every convolution
   • Its running statistics must be recomputed for the averaged weights
   • It converts batch normalization into layer normalization
   • It restores the original optimizer learning rate
7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
   • w_SWA + n · w_i
   • (w_SWA + w_i) divided by n
   • (n · w_SWA + w_i) divided by (n + 1)
   • n · (w_SWA − w_i)
8. Why is SWA commonly started during the later part of training?
   • It requires the model to remain at random initialization
   • It can only average models with different architectures
   • It replaces the training data with validation examples
   • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress