መውደቅ እና ስቶካስቲክ መደበኛ አሰራር
ማቋረጥ በእያንዳንዱ የሥልጠና ደረጃ የተወሰኑ የነርቭ ሴሎችን በዘፈቀደ የሚያጠፋ የመደበኛነት ዘዴ ነው፣ ይህም አውታረ መረቡ ተደጋጋሚ እና ጠንካራ ውክልናዎችን እንዲገነባ ያስገድዳል።
አጠቃላይ እይታ
It became one of the most influential techniques for fighting overfitting in deep learning.
ጥልቅ ዳይቭ
እ.ኤ.አ. በ 2012 አካባቢ በሂንተን ቡድን አስተዋውቋል ፣ ማቋረጥ የትላልቅ ኔትወርኮች ቁልፍ ድክመትን ያብራራል-የነርቭ ሴሎች ተባብረው ሊላመዱ ይችላሉ ፣ በስልጠናው መረጃ ላይ ብቻ በሚሰሩ መንገዶች እርስ በእርስ ስህተቶችን ለማስተካከል ይማራሉ ። በስልጠና ወቅት በእያንዳንዱ ወደፊት ማለፊያ ላይ፣ ማቋረጥ የእያንዳንዱን የነርቭ ሴሎች ውጤት በዘፈቀደ ወደ ዜሮ ያስቀምጣል p (ብዙውን ጊዜ ጥቅጥቅ ባለ ንብርብሮች 0.5)። ማንኛውም የነርቭ ሴል ሊጠፋ ስለሚችል፣ አውታረ መረቡ በተበላሹ ሽርክናዎች ላይ መደገፍ ስለማይችል ጠቃሚ መረጃዎችን በብዙ ክፍሎች ማሰራጨት አለበት። ይህ ክብደቶችን የሚጋሩ ግዙፍ የቀጭን አውታረ መረቦች ስብስብ እንደ ማሰልጠን ይሰራል። በሙከራ ጊዜ ማቋረጥ ጠፍቷል እና ሙሉው አውታረመረብ ጥቅም ላይ ይውላል፣በማግበር የሚጠበቀው ውጤት ከስልጠና ጋር ይዛመዳል። ውጤቱ በትንሹ ረዘም ላለ ጊዜ ስልጠና ወጪ በተለምዶ የተሻለ አጠቃላይ ነው።
ቴክኒካዊ ግንዛቤ
በስልጠና ወቅት እያንዳንዱ ክፍል በአጋጣሚ (1 ሲቀነስ ፒ) በዘፈቀደ ሁለትዮሽ ጭንብል እንዲቆይ ይደረጋል፣ ስለዚህ የተለያዩ ንዑስ አውታረ መረቦች በእያንዳንዱ ስብስብ ናሙና ይወሰዳሉ። ዘመናዊ ማዕቀፎች የተገለበጠ ማቋረጥን ይጠቀማሉ፡ በሕይወት የሚተርፉ እንቅስቃሴዎች በባቡር ጊዜ በ (1 ሲቀነስ ፒ) ይከፋፈላሉ፣ ስለዚህ በምርመራው ምንም ልኬት አያስፈልግም። ይህ የዘፈቀደነት አብሮ መላመድን የሚከለክል ድምጽ እና በአማካይ ግምታዊ ብዛት ያላቸው የጋራ ክብደት ንዑስ አውታረ መረቦች፣ ርካሽ የማሰባሰብ ዘዴ ነው።
ስልታዊ ተጽእኖ
ግልጽ ውሳኔዎች
ግልጽ ቴክኒካዊ የይገባኛል ጥያቄዎችን ከገበያ ቋንቋ እንዲለዩ ያግዝዎታል።
ወጪ እና በጀት
ገንዘብን ወይም ጊዜን ከማጥፋትዎ በፊት የተሻሉ የትግበራ ጥያቄዎችን መጠየቅ ይችላሉ።
ቡድን እና የስራ ፍሰት
የጋራ ግንዛቤ ያላቸው ቡድኖች የተሻለ ምርት፣ ፖሊሲ እና የመማር ውሳኔዎችን ያደርጋሉ።
የመውደቅ እና የስቶካስቲክ መደበኛነት የወደፊት ሁኔታ
በተዘዋዋሪ የእይታ ኔትወርኮች፣ ባች ኖርማልላይዜሽን ባብዛኛው መደበኛ ማቋረጥን ተፈናቅሏል፣ ነገር ግን ተለዋዋጮች በሌላ ቦታ ይበቅላሉ፡ ትራንስፎርመሮች ማቋረጥን በትኩረት ላይ ይተገብራሉ እና ወደ ፊት ወደ ፊት ይመገባሉ፣ እና DropPath (ስቶካስቲክ ጥልቀት) ሙሉ ቀሪ ብሎኮችን ይጥላል። በሞንቴ ካርሎ ማቋረጥ፣ ማቋረጥን በንቃት የሚቀጥል፣ የሞዴል አለመረጋጋትን ለመገመት ይጠቅማል። ስቶቻስቲክ መደበኛ አሰራር ከአንድ ቋሚ የምግብ አሰራር ይልቅ በየሥነ ሕንፃው የተስተካከለ ተለዋዋጭ መሣሪያ ሆኖ እንዲቆይ ይጠብቁ።
የእውነተኛ-ዓለም አተገባበር
በPyTorch ወይም Keras ውስጥ ባሉ ጥቅጥቅ ያሉ የምስል ወይም የጽሑፍ ክላሲፋየር መካከል 0.5 አካባቢ ያለው የተቆላለፈ ንብርብር ማከል
ትራንስፎርመር ሞዴሎች ማቋረጥን በትኩረት ክብደቶች እና በቅድመ-ስልጠና ወቅት ወደፊት የሚደረጉ እንቅስቃሴዎችን ተግባራዊ ያደርጋሉ
ሞንቴ ካርሎ ማቋረጥ፣ ለህክምና ወይም ለደህንነት ወሳኝ ትንበያዎች እርግጠኛ ያለመሆን ግምቶችን ለማምረት ማቋረጥ በምርመራው ላይ ይቆያል።
እንደ ResNets እና ቪዥን ትራንስፎርመሮች ያሉ በጣም ጥልቅ አውታረ መረቦችን መደበኛ ለማድረግ የስቶካስቲክ ጥልቀት (DropPath) በዘፈቀደ ቀሪ ብሎኮችን መዝለል
አደጋዎች እና የጥበቃ መንገዶች
የተለያዩ ቡድኖች ተመሳሳይ ቃል በተለያየ መንገድ ሊጠቀሙ ይችላሉ፣ ስለዚህ ወሰንን ቀደም ብለው ይግለጹ።
የገሃዱ ዓለም አፈጻጸም ያልተስተካከለ ሆኖ ሳለ ማመሳከሪያዎች ጠንካራ ሊመስሉ ይችላሉ።
የውሂብ ጥራት እና የግምገማ እቅዶችን ችላ ማለት ብዙውን ጊዜ ደካማ ውጤቶችን ይፈጥራል.
የትግበራ ፍኖተ ካርታ
የሚፈልጉትን ውጤት በግልፅ ቋንቋ ትርጉም ይጀምሩ።
ከመሞከርዎ በፊት አንድ የስኬት መለኪያ እና አንድ የውድቀት ሁኔታ ይምረጡ።
አንድ ትንሽ አብራሪ በተወካይ ውሂብ ያሂዱ እንጂ የተጣራ ማሳያ ስብስብ አይደለም።
መውደቅ እና ስቶክካስቲክ መደበኛ አሰራር የሚረዳበት እና ቀላል ዘዴዎች የተሻሉበት ሰነድ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dropout and Stochastic Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ስቶካስቲክ የግራዲየንት መውረድ ከሞመንተም ጋር
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Dropout and Stochastic Regularization?
ማቋረጥ በእያንዳንዱ የሥልጠና ደረጃ የተወሰኑ የነርቭ ሴሎችን በዘፈቀደ የሚያጠፋ የመደበኛነት ዘዴ ነው፣ ይህም አውታረ መረቡ ተደጋጋሚ እና ጠንካራ ውክልናዎችን እንዲገነባ ያስገድዳል። በጥልቅ ትምህርት ውስጥ ከመጠን በላይ መገጣጠምን ለመዋጋት በጣም ተደማጭ ከሆኑ ቴክኒኮች አንዱ ሆነ።
በስልጠና ወቅት ማቋረጥ ምን ያደርጋል?
መውደቅ በዘፈቀደ እያንዳንዱን የነርቭ ሴል በስልጠና ወቅት ዜሮ ያደርገዋል፣ ስለዚህ በእያንዳንዱ ደረጃ የተለየ ቀጭን ንዑስ አውታረ መረብ ጥቅም ላይ ይውላል።
ማቋረጥ ለምን አጠቃላይነትን ያሻሽላል?
ክፍሎችን በዘፈቀደ በማስወገድ፣ ማቋረጥ የነርቭ ሴሎች በስልጠና መረጃ ላይ ብቻ የሚሰሩ፣ ጥንካሬን የሚያሻሽሉ ደካማ ሽርክናዎችን ከመፍጠር ያቆማል።
በፈተና (በግምት) ጊዜ ማቋረጥ ምን ይሆናል?
በምርመራው ሙሉው አውታረመረብ ከትምህርት ማቋረጥ ከተሰናከለ እና የሚጠበቁ ውጤቶች ከስልጠናው ስርጭቱ ጋር እንዲጣጣሙ የሚደረጉ እንቅስቃሴዎች ይለካሉ።
በአንድ ንብርብር ውስጥ p = 0.5 ማቋረጥ ማለት በስልጠና ወቅት ምን ማለት ነው?
በ p = 0.5 እያንዳንዱ ነርቭ ዜሮ የመሆን 50 በመቶ እድል አለው፣ ስለዚህ በአማካይ በአንድ ወደፊት ማለፍ ግማሽ ያህሉ ይወድቃሉ።
ብዙውን ጊዜ ማቋረጥ ምን ይባላል?
የተለየ ንዑስ አውታረ መረብ ናሙና እያንዳንዱ እርምጃ በአማካይ ከጋራ ክብደት አውታረ መረቦች ጋር ይዛመዳል፣ ርካሽ የመገጣጠም አይነት።