ስቶካስቲክ የግራዲየንት መውረድ ከሞመንተም ጋር
ሞመንተም ያለፉ ቅልመት አማካኝ ሩጫዎችን የሚያከማች፣ ማመቻቸት በሸለቆዎች ውስጥ በፍጥነት እንዲሽከረከር እና ውዝዋዜን እንዲቀንስ የሚያደርግ ወደ ቅልመት ቁልቁለት የሚደረግ ማስተካከያ ነው።
አጠቃላይ እይታ
It is one of the most widely used training tricks in deep learning.
ጥልቅ ዳይቭ
Plain stochastic gradient descent (SGD) ከአሁኑ አነስተኛ ባች ቅልመት ተቃራኒ አቅጣጫ በመርገጥ ግቤቶችን ያዘምናል። ረዣዥም እና ጠባብ ሸለቆዎች በሚመስሉ መልክአ ምድሮች ውስጥ ይህ ዚግ-ዛግ ገደላማ በሆኑት ግድግዳዎች ላይ ለስላሳው ወለል ላይ እየተሳበ ነው። ሞመንተም፣ በፖሊክ እና በኋላም በሩሜልሃርት እና ባልደረቦች የተስፋፋው፣ የፍጥነት ቬክተርን በመጠበቅ ይህንን ያስተካክላል፡ እያንዳንዱ እርምጃ አዲሱን ቅልመት ከቀድሞው ፍጥነት ክፍልፋይ (የሞመንተም ኮፊሸን፣ ብዙ ጊዜ 0.9) ያዋህዳል። ወጥነት ያለው ቀስ በቀስ አቅጣጫዎች ያጠናክራሉ እና ያፋጥናሉ፣ ነገር ግን ማወዛወዝ በከፊል ይሰርዛል። አካላዊ ንጽጽር ቁልቁል የሚንከባለል ከባድ ኳስ ነው፡ በቋሚ አቅጣጫዎች ፍጥነትን ይገነባል እና በጫጫታ እብጠቶች እምብዛም አይገለበጥም፣ ከቫኒላ SGD የበለጠ ፈጣን እና ለስላሳ ውህደት ይሰጣል።
ቴክኒካዊ ግንዛቤ
ዝማኔው እንደ v = ቤታ * v + ቅልመት የዘመነ ፍጥነት v ይጠብቃል፣ ከዚያ መለኪያዎች በመቀነስ የመማሪያ ፍጥነት ጊዜዎች ይንቀሳቀሳሉ v. በሞመንተም ኮፊሸን ቤታ፣ ወጥ የሆነ አቅጣጫ ያለው ውጤታማ እርምጃ በ 1/(1 - beta) እጥፍ ይጨምራል። በቤታ = 0.9 ማለትም አሥር ጊዜ ያህል ነው። ይህ በሂሳብ ግዙፉን የቁልቁለት አቅጣጫ በመጠበቅ ትንንሽ-ባች ጫጫታን በማለስለስ፣ በሂሳብ በስፋት የሚመዘን ቅልመት አማካኝ ነው።
ስልታዊ ተጽእኖ
ግልጽ ውሳኔዎች
ግልጽ ቴክኒካዊ የይገባኛል ጥያቄዎችን ከገበያ ቋንቋ እንዲለዩ ያግዝዎታል።
ወጪ እና በጀት
ገንዘብን ወይም ጊዜን ከማጥፋትዎ በፊት የተሻሉ የትግበራ ጥያቄዎችን መጠየቅ ይችላሉ።
ቡድን እና የስራ ፍሰት
የጋራ ግንዛቤ ያላቸው ቡድኖች የተሻለ ምርት፣ ፖሊሲ እና የመማር ውሳኔዎችን ያደርጋሉ።
ከሞመንተም ጋር የስቶካስቲክ የግራዲየንት መውረድ የወደፊት ዕጣ
ሞመንተም እንደ አዳም እና ተለዋዋጮቹ ያሉ አስማሚ አመቻቾች የፍጥነት አይነት የመጀመሪያ አፍታ ግምትን አካተዋል፣ እና SGD with momentum አሁንም ጠንካራ መነሻ መስመር ሲሆን ብዙውን ጊዜ በትልልቅ የእይታ ሞዴሎች ላይ ካሉ መላመድ ዘዴዎች የተሻለ ነው። ምርምር በፍጥነት መርሐግብር፣ በተቆራረጠ የክብደት መበስበስ እና ከትልቅ የቡድን ስልጠና ጋር ያለው መስተጋብር ይቀጥላል። አመቻቾች ከመቼውም ጊዜ በላይ ትልቅ ለሆኑ ሞዴሎች ሲሻሻሉ ፍጥነቱ ዋና አካል ሆኖ እንዲቆይ ይጠብቁ።
የእውነተኛ-ዓለም አተገባበር
እንደ ResNet ያሉ ጥልቅ convolutional አውታረ መረቦችን ማሰልጠን፣ SGD with momentum 0.9 መደበኛ የምግብ አሰራር ነው።
ትንንሽ ሚኒ-ባች ሲጠቀሙ ለስላሳ ጫጫታ ቅልመት ግምቶች።
በጠፍጣፋ ክልሎች ውስጥ ፍጥነትን በማጓጓዝ ጥልቀት የሌላቸውን የአከባቢን አምባዎች ማምለጥ።
እንደ አዳም እና አርኤምኤስፕሮፕ ተለዋጮች ባሉ አስማሚ አመቻቾች ውስጥ እንደ ሞመንተም ቃል በማገልገል ላይ።
አደጋዎች እና የጥበቃ መንገዶች
የተለያዩ ቡድኖች ተመሳሳይ ቃል በተለያየ መንገድ ሊጠቀሙ ይችላሉ፣ ስለዚህ ወሰንን ቀደም ብለው ይግለጹ።
የገሃዱ ዓለም አፈጻጸም ያልተስተካከለ ሆኖ ሳለ ማመሳከሪያዎች ጠንካራ ሊመስሉ ይችላሉ።
የውሂብ ጥራት እና የግምገማ እቅዶችን ችላ ማለት ብዙውን ጊዜ ደካማ ውጤቶችን ይፈጥራል.
የትግበራ ፍኖተ ካርታ
የሚፈልጉትን ውጤት በግልፅ ቋንቋ ትርጉም ይጀምሩ።
ከመሞከርዎ በፊት አንድ የስኬት መለኪያ እና አንድ የውድቀት ሁኔታ ይምረጡ።
አንድ ትንሽ አብራሪ በተወካይ ውሂብ ያሂዱ እንጂ የተጣራ ማሳያ ስብስብ አይደለም።
Stochastic Gradient Descent with Momentum የሚረዳበት እና ቀላል ዘዴዎች የተሻሉበት ሰነድ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Stochastic Gradient Descent with Momentum quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ቀስ በቀስ መውረድ
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Stochastic Gradient Descent with Momentum?
ሞመንተም ያለፉ ቅልመት አማካኝ ሩጫዎችን የሚያከማች፣ ማመቻቸት በሸለቆዎች ውስጥ በፍጥነት እንዲሽከረከር እና ውዝዋዜን እንዲቀንስ የሚያደርግ ወደ ቅልመት ቁልቁለት የሚደረግ ማስተካከያ ነው። በጥልቅ ትምህርት ውስጥ በብዛት ጥቅም ላይ ከሚውሉት የሥልጠና ዘዴዎች አንዱ ነው።
በስልጠና ወቅት የፍጥነት ቃል ምን ይሰበስባል?
ሞመንተም የዝማኔ አቅጣጫውን በማለስለስ የፍጥነት ቬክተር በከፍተኛ ደረጃ ክብደት ያለው ተንቀሳቃሽ የቅርብ ጊዜ ቀስቶች አማካይ ነው።
በረጅም ጠባብ ሸለቆ ውስጥ፣ ፍጥነቱ ለማስተካከል የሚረዳው ግልጽ SGD ምን ችግር አለው?
ያለ ፍጥነቱ፣ SGD በገደል አቀበታማ አቅጣጫዎች ላይ ይንቀጠቀጣል። ሞመንተም እነዚህን መወዛወዝ ይሰርዛል እና በረጋው የሸለቆው ወለል ላይ ያፋጥናል።
ሞመንተምን ለመግለጽ የትኛው አካላዊ ተመሳሳይነት በብዛት ጥቅም ላይ ይውላል?
ሞመንተም ወጥነት ባለው አቅጣጫ ፍጥነትን ከሚገነባ እና ከጩኸት እብጠቶች መራቅን ከሚቋቋም ከከባድ ኳስ ጋር ይመሳሰላል።
ቤታ = 0.9 በሚሆንበት ጊዜ ሞመንተም ውጤታማውን እርምጃ በተከታታይ አቅጣጫ የሚያጎላው ምን ያህል ነው?
የማጉላት ፋክተሩ በግምት 1/(1 - ቤታ) እና 1/(1 - 0.9) = 10 ነው፣ ስለዚህ ወጥነት ያላቸው አቅጣጫዎች በግምት በአስር እጥፍ ይጣደፋሉ።
የትኛው ዘመናዊ አመቻች የፍጥነት አይነት የመጀመሪያ ጊዜ ግምትን ያካትታል?
አዳም ሞመንተም የሚመስል የመጀመሪያ-አፍታ (አማካይ) የግራዲየቶችን ግምት ከሁለተኛ አፍታ (ልዩነት) ግምት ጋር ለማስማማት ልኬት ያጣምራል።