सीखने की दर का निर्धारण

सीखने की दर का शेड्यूल प्रशिक्षण के दौरान चरण के आकार को स्थिर रखने के बजाय बदल देता है। इसे सही करना अक्सर यह जानने के लिए सबसे बड़ा लीवर होता है कि कोई मॉडल जल्दी से अभिसरण करता है और उच्च सटीकता तक पहुंचता है या नहीं।

वार्मअप शून्य के करीब शुरू होता है और दर बढ़ाता है ताकि अस्थिर शुरुआती अपडेट ऑप्टिमाइज़र आंकड़ों के व्यवस्थित होने से पहले मॉडल को अस्थिर न करें।

कोसाइन एनीलिंग आधे-कोसाइन आकार के साथ सीखने की दर को कम कर देता है, जिससे शुरुआत में बड़े कदम और अंत के करीब छोटे कदम मिलते हैं।

अत्यधिक उच्च दर ओवरशूटिंग का कारण बनती है, इसलिए नुकसान व्यवस्थित होने के बजाय बढ़ सकता है या बढ़ सकता है।

चरण क्षय चयनित मील के पत्थर पर दर को एक कारक (उदाहरण के लिए, 0.1) से गुणा करता है, जिससे एक सीढ़ी पैटर्न बनता है।

Warm restarts begin another learning-rate cycle at a higher value; they do not guarantee escape from a particular loss-landscape feature.