ሁለተኛ-ትዕዛዝ ማመቻቸት እና የኒውተን ዘዴዎች
ሁለተኛ-ትዕዛዝ ማመቻቸት ቁልቁል ላይ ብቻ ሳይሆን በትንሹም ቢሆን ብልጥ እርምጃዎችን ለመውሰድ ኩርባ መረጃን (የሄሲያን ማትሪክስ ሁለተኛ ተዋጽኦዎች) ይጠቀማል።
አጠቃላይ እይታ
It can converge in dramatically fewer iterations than plain gradient descent, but the cost of computing curvature makes it tricky to scale.
ጥልቅ ዳይቭ
የግራዲየንት መውረድ አሁን ባለህበት ቦታ ያለውን ቁልቁለት ብቻ ነው የሚያውቀው፣ ስለዚህ ቋሚ ወይም በእጅ የተስተካከለ የእርምጃ መጠን ይመርጣል እና ለበጎ ነገር ተስፋ ያደርጋል። የኒውተን ዘዴ የበለጠ ይሄዳል፡ እንዲሁም ቁልቁለቱ እንዴት እንደሚለወጥ (መጠምዘዣው)፣ በሄሲያን ተይዟል፣ የሁሉም ሁለተኛ ከፊል ተዋጽኦዎች ማትሪክስ። ዝማኔው ተገላቢጦሹን ሄሲያንን በግራዲየንት ያባዛል፣ ይህም እያንዳንዱን አቅጣጫ በራስ-ሰር ይልካል እና ከዝቅተኛው የአካባቢ ኳድራቲክ መጠጋጋት አጠገብ ያርፋል። ፍጹም ባለ አራት ማዕዘን ቅርጽ ላለው ጎድጓዳ ሳህን የኒውተን ዘዴ በአንድ ደረጃ ወደ ታች ይደርሳል. የተያዘው ጨካኝ ነው፡ N መለኪያዎች ያለው ሞዴል N-by-N ሄሲያን አለው፣ ስለዚህ ማከማቸት እና መገልበጥ N-squared memory እና N-cubed compute ያስከፍላል። ለቢሊዮኖች መለኪያ ኔትወርኮች የማይቻል ነው, ለዚህም ነው ባለሙያዎች በርካሽ ግምቶችን ይጠቀማሉ.
ቴክኒካዊ ግንዛቤ
ዋናው የኒውተን ማሻሻያ x_new = x - H_inverse times the gradient ነው፣ ኤች ሄሲያን ነው። እንደ BFGS እና L-BFGS ያሉ የኳሲ-ኒውተን ዘዴዎች ከተከታታይ ቀስ በቀስ ልዩነቶች የተገላቢጦሽ ግምትን በመገንባት በቀጥታ H ኮምፒዩተርን ያስወግዳሉ። L-BFGS ከሙሉ ማትሪክስ ይልቅ የመጨረሻዎቹን ቅልመት እና እርከን ቬክተሮችን ብቻ ያከማቻል፣ ማህደረ ትውስታን ከN-squared ወደ ትንሽ የ N ብዜት በመቁረጥ አብዛኛው የመገናኘት ፍጥነት ይጠብቃል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የሁለተኛ ደረጃ ማሻሻያ እና የኒውተን ዘዴዎች የወደፊት ሁኔታ
ለግዙፍ የነርቭ ኔትወርኮች፣ ሙሉ ሁለተኛ-ደረጃ ዘዴዎች ተግባራዊ ሊሆኑ አይችሉም፣ ነገር ግን ግምቶች እየጨመሩ ነው። አመቻቾች እንደ K-FAC እና Shampoo ግምታዊ ኩርባ በብሎክ-ዲያግናል ወይም ክሮንከር-ተኮር መዋቅር፣ እና እንደ ሶፊያ እና ሙዮን ያሉ አዳዲስ ዘዴዎች ትልቅ የቋንቋ ሞዴል ቅድመ ስልጠናን ለማፋጠን ርካሽ ኩርባ ግምቶችን ይጠቀማሉ። በአዳም እና በእውነተኛው የኒውተን ደረጃዎች መካከል ያለውን ልዩነት በማጥበብ በአንደኛ-ትዕዛዝ ዋጋ ጠቃሚ የጠመዝማዛ ምልክት ለመያዝ ቀጣይ ጥረትን ይጠብቁ።
የእውነተኛ-ዓለም አተገባበር
L-BFGS ፊቲንግ ሎጂስቲክስ ሪግሬሽን እና ሌሎች ሾጣጣ ሞዴሎች በscikit-Learn፣ ይህም ብዙውን ጊዜ ከትንሽ እስከ መካከለኛ የውሂብ ስብስቦች ላይ ግልጽ የሆነ ቀስ በቀስ የሚወርድበት ነው።
ጋውስ-ኒውተን እና ሌቨንበርግ-ማርኳርድት የካሜራ አቀማመጦችን እና የነጥብ ቦታዎችን በሚያጣሩበት በ3D መልሶ ግንባታ እና SLAM ውስጥ የጥቅል ማስተካከያ
ኤል-ቢኤፍጂኤስ አዳም ለመድረስ የሚታገለውን ትክክለኛነት የሚያገኝበት ትናንሽ ፊዚክስን በመረጃ የተደገፈ የነርቭ መረቦችን ማሰልጠን
ሻምፑ እና ኬ-ኤፍኤሲ የሄሲያንን መዋቅር በመገመት መጠነ ሰፊ የጥልቅ ትምህርት ስልጠናን ማፋጠን
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Second-Order Optimization and Newton Methods quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
የቡድን አንጻራዊ ፖሊሲ ማመቻቸት
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Second-Order Optimization and Newton Methods?
ሁለተኛ-ትዕዛዝ ማመቻቸት ቁልቁል ላይ ብቻ ሳይሆን በትንሹም ቢሆን ብልጥ እርምጃዎችን ለመውሰድ ኩርባ መረጃን (የሄሲያን ማትሪክስ ሁለተኛ ተዋጽኦዎች) ይጠቀማል። ከቀላል ቅልመት ቁልቁለት በሚያስደንቅ ሁኔታ ባነሰ ድግግሞሾች ሊጣመር ይችላል፣ነገር ግን የማስላት ኩርባ ዋጋ ለመለካት አስቸጋሪ ያደርገዋል።
የኒውተን ዘዴ ግልጽ የሆነ ቀስ በቀስ መውረድ የማይጠቀምበት ምን መረጃ ይጠቀማል?
የኒውተን ዘዴ ቅልመትን ከሄሲያን በመጠምዘዝ ያጨምረዋል፣ ይህም አቅጣጫዎችን እንዲያስተካክል እና የአካባቢውን ኳድራቲክ ዝቅተኛውን እንዲገመግም ያስችለዋል።
ፍፁም ባለአራት ዓላማ የኒውተን ዘዴ ዝቅተኛውን ለመድረስ ስንት ደረጃዎች ያስፈልገዋል?
በትክክለኛ ኳድራቲክ ላይ፣ የአካባቢው ኳድራቲክ ሞዴል ከእውነተኛው ተግባር ጋር እኩል ነው፣ ስለዚህ አንድ የኒውተን እርምጃ በቀጥታ ወደ ዝቅተኛው ይዘላል።
ለምንድነው ሙሉ የኒውተን ዘዴ ለቢሊዮኖች መለኪያ የነርቭ ኔትወርኮች የማይጠቅመው?
በN መለኪያዎች ሄሲያን N-squared ግቤቶች አሉት እና ልክ እንደ N-cubed ይገለበጣል፣ ይህም በቢሊዮኖች በሚቆጠሩ መለኪያዎች የማይሰራ ነው።
እንደ BFGS ያሉ የኳሲ-ኒውተን ዘዴዎች የሄሲያንን ወጪ ለማስቀረት ምን ያደርጋሉ?
BFGS በተገላቢጦሽ ሄሲያን ያለውን ግምት በደረጃዎች መካከል ያለውን የግራዲየንት ለውጦችን በመጠቀም፣ ቀጥተኛ ስሌትን በማስቀረት በየጊዜው ያዘምናል።
L-BFGS ከ BFGS ጋር ሲነጻጸር ማህደረ ትውስታን እንዴት ይቀንሳል?
'L' ማለት ውስን ማህደረ ትውስታን ያመለክታል፡ L-BFGS በጣት የሚቆጠሩ የቅርብ ጊዜ ቬክተሮችን ይይዛል፣ ይህም ማከማቻን ከN-squared ወደ ትንሽ የ N ብዜት ይቀንሳል።