गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर
सीखने की दर निर्धारण प्रश्नोत्तरी
वार्मअप, कोसाइन और स्टेप शेड्यूल, पुनरारंभ व्यवहार, प्रारंभिक अस्थिरता और सामान्य वार्मअप-फिर-क्षय प्रशिक्षण नुस्खा की जाँच करता है।
प्रश्न 1 का 8
सीखने की दर अनुसूची में 'वार्मअप' चरण का उद्देश्य क्या है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- सीखने की दर अनुसूची में 'वार्मअप' चरण का उद्देश्य क्या है?
- छोटी दर से शुरुआत करें और शुरुआती शोर-शराबे से होने वाली अस्थिरता से बचते हुए आगे बढ़ें
- अंतिम सटीकता को कम करने के लिए
- डेटा के पहले कुछ बैच को छोड़ने के लिए
- प्रारंभ में सभी भारों को स्थिर करना
- कौन सी अनुसूची न्यूनतम दर की ओर अर्ध-कोसाइन वक्र का सुचारू रूप से अनुसरण करती है?
- लगातार कार्यक्रम
- कोसाइन एनीलिंग
- यादृच्छिक कार्यक्रम
- रैखिक वृद्धि
- यदि सीखने की दर बहुत अधिक निर्धारित कर दी जाए तो क्या होगा?
- प्रशिक्षण तुरंत पूर्ण सटीकता के साथ एकत्रित होता है
- मॉडल धीमी गति से चलता है लेकिन हमेशा सफल होता है
- नुकसान कम होने के बजाय अलग-अलग हो सकता है या घट सकता है
- कुछ भी नहीं बदलता; दर पर कोई प्रभाव नहीं पड़ता
- चरण क्षय सीखने की दर पर क्या प्रभाव डालता है?
- प्रत्येक बैच में इसे रैखिक रूप से बढ़ाता है
- इसे पूर्णतः स्थिर रखता है
- इसे प्रत्येक चरण में यादृच्छिक रूप से सेट करता है
- इसे पूर्वनिर्धारित युगों में एक निश्चित कारक द्वारा गिरा देता है
- What does a warm restart do to a learning-rate schedule?
- It raises the learning rate again to begin another schedule cycle
- It resets the model parameters to random values
- It permanently fixes the learning rate at zero
- It deletes the optimizer’s moment estimates
- In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
- It removed the need for a validation set
- It eased early optimization difficulties after the learning-rate scale increased with batch size
- It changed the model architecture after each epoch
- It converted the learning-rate curve into a cosine wave
- In the cosine formula, what does T denote?
- The number of model layers
- बैच का आकार
- The schedule horizon or total number of steps used for the decay
- The optimizer’s momentum coefficient
- If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
- Exactly zero regardless of lr_min
- The original warmup starting rate
- An unbounded value
- The specified minimum learning rate