ቀስ በቀስ መውረድ

It is how learning happens once backpropagation has computed the gradients.

በእግርህ ስር ያለውን ቁልቁለት ብቻ እየተሰማህ ወደ ሸለቆው ወለል ለመድረስ ስትሞክር ጭጋጋማ በሆነ ኮረብታ ላይ እንደቆምህ አስብ። የግራዲየንት መውረጃ በትክክል ይህንን ለአንድ ሞዴል ስህተት ገጽታ ያደርገዋል። የግራዲየንት ነጥቦች በኪሳራ ውስጥ ወደ ከፍተኛ ፍጥነት መጨመር፣ ስለዚህ ስልተ ቀመር ስህተትን ለመቀነስ ወደ ተቃራኒው አቅጣጫ ይሄዳል። የእያንዲንደ እርከን መጠን የሚቆጣጠረው በመማር ፍጥነት ነው, ወሳኝ የሆነ ሃይፐርፓራሜትር: በጣም ትልቅ እና ሞዴሉ ከመጠን በላይ ተኳሽ እና ይለያያል, በጣም ትንሽ እና የስልጠና ጉዞዎች. በተግባር፣ ሞዴሎች ለእያንዳንዱ እርምጃ ሙሉውን የውሂብ ስብስብ እምብዛም አይጠቀሙም። ስቶካስቲክ ቅልመት ውረድ (SGD) እና ሚኒ-ባች ተለዋጮች ቅልመትን ከትንሽ የዘፈቀደ ናሙናዎች ይገምታሉ፣ ይህም ስልጠና ፈጣን እንዲሆን እና አምሳያው በኪሳራ ወለል ውስጥ ጥልቀት ከሌላቸው ወጥመዶች እንዲያመልጥ ያግዘዋል።