መሰረታዊ መመሪያ

መውደቅ እና ስቶካስቲክ መደበኛ አሰራር

ማቋረጥ በእያንዳንዱ የሥልጠና ደረጃ የተወሰኑ የነርቭ ሴሎችን በዘፈቀደ የሚያጠፋ የመደበኛነት ዘዴ ነው፣ ይህም አውታረ መረቡ ተደጋጋሚ እና ጠንካራ ውክልናዎችን እንዲገነባ ያስገድዳል።

አጠቃላይ እይታ

ማቋረጥ በእያንዳንዱ የሥልጠና ደረጃ የተወሰኑ የነርቭ ሴሎችን በዘፈቀደ የሚያጠፋ የመደበኛነት ዘዴ ነው፣ ይህም አውታረ መረቡ ተደጋጋሚ እና ጠንካራ ውክልናዎችን እንዲገነባ ያስገድዳል። በጥልቅ ትምህርት ውስጥ ከመጠን በላይ መገጣጠምን ለመዋጋት በጣም ተደማጭ ከሆኑ ቴክኒኮች አንዱ ሆነ።

መውረድ እና ስቶካስቲክ ማደራጀት በዋና AI መሣሪያ ስብስብ ውስጥ ተቀምጧል። ሲረዱት ሌሎች AI ርዕሶች ለመገምገም እና ለማነጻጸር ቀላል ይሆናሉ።

ጥልቅ ዳይቭ

እ.ኤ.አ. በ 2012 አካባቢ በሂንተን ቡድን አስተዋውቋል ፣ ማቋረጥ የትላልቅ ኔትወርኮች ቁልፍ ድክመትን ያብራራል-የነርቭ ሴሎች ተባብረው ሊላመዱ ይችላሉ ፣ በስልጠናው መረጃ ላይ ብቻ በሚሰሩ መንገዶች እርስ በእርስ ስህተቶችን ለማስተካከል ይማራሉ ። በስልጠና ወቅት በእያንዳንዱ ወደፊት ማለፊያ ላይ፣ ማቋረጥ የእያንዳንዱን የነርቭ ሴሎች ውጤት በዘፈቀደ ወደ ዜሮ ያስቀምጣል p (ብዙውን ጊዜ ጥቅጥቅ ባለ ንብርብሮች 0.5)። ማንኛውም የነርቭ ሴል ሊጠፋ ስለሚችል፣ አውታረ መረቡ በተበላሹ ሽርክናዎች ላይ መደገፍ ስለማይችል ጠቃሚ መረጃዎችን በብዙ ክፍሎች ማሰራጨት አለበት። ይህ ክብደቶችን የሚጋሩ ግዙፍ የቀጭን አውታረ መረቦች ስብስብ እንደ ማሰልጠን ይሰራል። በሙከራ ጊዜ ማቋረጥ ጠፍቷል እና ሙሉው አውታረመረብ ጥቅም ላይ ይውላል፣በማግበር የሚጠበቀው ውጤት ከስልጠና ጋር ይዛመዳል። ውጤቱ በትንሹ ረዘም ላለ ጊዜ ስልጠና ወጪ በተለምዶ የተሻለ አጠቃላይ ነው።

ቴክኒካዊ ግንዛቤ

በስልጠና ወቅት እያንዳንዱ ክፍል በአጋጣሚ (1 ሲቀነስ ፒ) በዘፈቀደ ሁለትዮሽ ጭንብል እንዲቆይ ይደረጋል፣ ስለዚህ የተለያዩ ንዑስ አውታረ መረቦች በእያንዳንዱ ስብስብ ናሙና ይወሰዳሉ። ዘመናዊ ማዕቀፎች የተገለበጠ ማቋረጥን ይጠቀማሉ፡ በሕይወት የሚተርፉ እንቅስቃሴዎች በባቡር ጊዜ በ (1 ሲቀነስ ፒ) ይከፋፈላሉ፣ ስለዚህ በምርመራው ምንም ልኬት አያስፈልግም። ይህ የዘፈቀደነት አብሮ መላመድን የሚከለክል ድምጽ እና በአማካይ ግምታዊ ብዛት ያላቸው የጋራ ክብደት ንዑስ አውታረ መረቦች፣ ርካሽ የማሰባሰብ ዘዴ ነው።

መውደቅ እና ስቶካስቲክን መቆጣጠር

ጥልቅ ግንዛቤን ለመገንባት፣ Dropout እና Stochastic Regularizationን እንደ አንድ ባህሪ ሳይሆን እንደ ኦፕሬሽን ሞዴል ይያዙ። የተፈለገውን ውጤት ይግለጹ፣ ግምቶችን ያብራሩ እና ስርዓቱ በአስተማማኝ ሁኔታ ምን ማድረግ እንደሚችል አሁንም የባለሙያዎችን ውሳኔ ከሚያስፈልገው ይለዩ።

በተግባር፣ Dropout እና Stochastic Regularization የሚጠቀሙ ጠንካራ ቡድኖች መጀመሪያ ጠንካራ ሃሳባዊ ሞዴሎችን ይገነባሉ፣ ከዚያም እነዚያን ሞዴሎች ወደ እውነተኛ የምርት ገደቦች ያርቁ። ግልጽ የስኬት መስፈርቶችን ይመዘግባሉ፣ በተጨባጭ መረጃ እና የስራ ፍሰቶች ላይ ይፈትሻሉ፣ እና የአንድ ጊዜ ቤንችማርክ ከማሸነፍ ይልቅ በተስተዋሉ የውድቀት ቅጦች ላይ ተመስርተው ይደግማሉ። ይህ የንድፈ ሃሳባዊ ግንዛቤ በምርት፣ ፖሊሲ እና ኦፕሬሽኖች ላይ ወደ ዘላቂ አቅም የሚቀየርበት ነው።

ግልጽ ቴክኒካዊ የይገባኛል ጥያቄዎችን ከገበያ ቋንቋ እንዲለዩ ያግዝዎታል። በተመሳሳይ ጊዜ፣ የተለያዩ ቡድኖች ተመሳሳይ ቃል በተለያየ መንገድ ሊጠቀሙ ይችላሉ፣ ስለዚህ ወሰንን ቀደም ብለው ይግለጹ። በጣም ጠንካራው አካሄድ የሙከራ ፍጥነትን ከአስተዳደር ዲሲፕሊን ጋር ማጣመር ነው፡ አብራሪዎችን ማስኬድ፣ ማስረጃን መያዝ፣ የውሳኔ ምዝግብ ማስታወሻዎችን ማተም እና የሞዴል ባህሪ፣ የተጠቃሚ የሚጠበቁ እና የቁጥጥር መስፈርቶች ሲዳብሩ ጥበቃዎችን ያለማቋረጥ ማዘመን ነው።

ስልታዊ ተጽእኖ

ግልጽ ቴክኒካዊ የይገባኛል ጥያቄዎችን ከገበያ ቋንቋ እንዲለዩ ያግዝዎታል።

ግልጽ ቴክኒካዊ የይገባኛል ጥያቄዎችን ከገበያ ቋንቋ እንዲለዩ ያግዝዎታል። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።

ገንዘብን ወይም ጊዜን ከማጥፋትዎ በፊት የተሻሉ የትግበራ ጥያቄዎችን መጠየቅ ይችላሉ።

ገንዘብን ወይም ጊዜን ከማጥፋትዎ በፊት የተሻሉ የትግበራ ጥያቄዎችን መጠየቅ ይችላሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።

የጋራ ግንዛቤ ያላቸው ቡድኖች የተሻለ ምርት፣ ፖሊሲ እና የመማር ውሳኔዎችን ያደርጋሉ።

የጋራ ግንዛቤ ያላቸው ቡድኖች የተሻለ ምርት፣ ፖሊሲ እና የመማር ውሳኔዎችን ያደርጋሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።

የመውደቅ እና የስቶካስቲክ መደበኛነት የወደፊት ሁኔታ

በተዘዋዋሪ የእይታ ኔትወርኮች፣ ባች ኖርማልላይዜሽን ባብዛኛው መደበኛ ማቋረጥን ተፈናቅሏል፣ ነገር ግን ተለዋዋጮች በሌላ ቦታ ይበቅላሉ፡ ትራንስፎርመሮች ማቋረጥን በትኩረት ላይ ይተገብራሉ እና ወደ ፊት ወደ ፊት ይመገባሉ፣ እና DropPath (ስቶካስቲክ ጥልቀት) ሙሉ ቀሪ ብሎኮችን ይጥላል። በሞንቴ ካርሎ ማቋረጥ፣ ማቋረጥን በንቃት የሚቀጥል፣ የሞዴል አለመረጋጋትን ለመገመት ይጠቅማል። ስቶቻስቲክ መደበኛ አሰራር ከአንድ ቋሚ የምግብ አሰራር ይልቅ በየሥነ ሕንፃው የተስተካከለ ተለዋዋጭ መሣሪያ ሆኖ እንዲቆይ ይጠብቁ።

የእውነተኛ-ዓለም አተገባበር

በPyTorch ወይም Keras ውስጥ ባሉ ጥቅጥቅ ያሉ የምስል ወይም የጽሑፍ ክላሲፋየር መካከል 0.5 አካባቢ ያለው የተቆላለፈ ንብርብር ማከል

ትራንስፎርመር ሞዴሎች ማቋረጥን በትኩረት ክብደቶች እና በቅድመ-ስልጠና ወቅት ወደፊት የሚደረጉ እንቅስቃሴዎችን ተግባራዊ ያደርጋሉ

ሞንቴ ካርሎ ማቋረጥ፣ ለህክምና ወይም ለደህንነት ወሳኝ ትንበያዎች እርግጠኛ ያለመሆን ግምቶችን ለማምረት ማቋረጥ በምርመራው ላይ ይቆያል።

እንደ ResNets እና ቪዥን ትራንስፎርመሮች ያሉ በጣም ጥልቅ አውታረ መረቦችን መደበኛ ለማድረግ የስቶካስቲክ ጥልቀት (DropPath) በዘፈቀደ ቀሪ ብሎኮችን መዝለል

የትግበራ ቅጦች

መውደቅ እና ስቶካስቲክ መደበኛ አሰራር በተግባር

በPyTorch ወይም Keras ውስጥ ባሉ ጥቅጥቅ ያሉ የምስል ወይም የጽሑፍ ክላሲፋየር መካከል 0.5 አካባቢ ያለው የተቆለፈ ንብርብር ማከል።

ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ፣ የሰው ልጅ መሻሻል መንገድን ለዳር ጉዳዮች ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ሲከታተሉ የተሻለ ውጤት ያገኛሉ።

መውደቅ እና ስቶካስቲክ መደበኛ አሰራር በተግባር

ትራንስፎርመር ሞዴሎች ማቋረጥን በትኩረት ክብደቶች እና በቅድመ-ስልጠና ወቅት ወደፊት የሚደረጉ እንቅስቃሴዎችን ተግባራዊ ያደርጋሉ።

ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ፣ የሰው ልጅ መሻሻል መንገድን ለዳር ጉዳዮች ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ሲከታተሉ የተሻለ ውጤት ያገኛሉ።

መውደቅ እና ስቶካስቲክ መደበኛ አሰራር በተግባር

ሞንቴ ካርሎ ማቋረጥ፣ ለህክምና ወይም ለደህንነት-ወሳኝ ትንበያዎች እርግጠኛ ያለመሆን ግምቶችን ለማምረት ማቋረጥ በምርመራው ላይ ይቆያል።

ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ፣ የሰው ልጅ መሻሻል መንገድን ለዳር ጉዳዮች ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ሲከታተሉ የተሻለ ውጤት ያገኛሉ።

መውደቅ እና ስቶካስቲክ መደበኛ አሰራር በተግባር

እንደ ResNets እና ቪዥን ትራንስፎርመሮች ያሉ በጣም ጥልቅ አውታረ መረቦችን መደበኛ ለማድረግ የስቶካስቲክ ጥልቀት (DropPath) በዘፈቀደ ቀሪ ብሎኮችን መዝለል።

ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ፣ የሰው ልጅ መሻሻል መንገድን ለዳር ጉዳዮች ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ሲከታተሉ የተሻለ ውጤት ያገኛሉ።

አደጋዎች እና የጥበቃ መንገዶች

!

የተለያዩ ቡድኖች ተመሳሳይ ቃል በተለያየ መንገድ ሊጠቀሙ ይችላሉ፣ ስለዚህ ወሰንን ቀደም ብለው ይግለጹ።

!

የገሃዱ ዓለም አፈጻጸም ያልተስተካከለ ሆኖ ሳለ ማመሳከሪያዎች ጠንካራ ሊመስሉ ይችላሉ።

!

የውሂብ ጥራት እና የግምገማ እቅዶችን ችላ ማለት ብዙውን ጊዜ ደካማ ውጤቶችን ይፈጥራል.

የትግበራ ፍኖተ ካርታ

1

የሚፈልጉትን ውጤት በግልፅ ቋንቋ ትርጉም ይጀምሩ።

ይህንን እንደ የማስረጃ በር ይያዙት፡ መስፈርቶቹ ካልተሟሉ፣ መልቀቅን ለአፍታ ያቁሙ፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።

2

ከመሞከርዎ በፊት አንድ የስኬት መለኪያ እና አንድ የውድቀት ሁኔታ ይምረጡ።

ይህንን እንደ የማስረጃ በር ይያዙት፡ መስፈርቶቹ ካልተሟሉ፣ መልቀቅን ለአፍታ ያቁሙ፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።

3

አንድ ትንሽ አብራሪ በተወካይ ውሂብ ያሂዱ እንጂ የተጣራ ማሳያ ስብስብ አይደለም።

ይህንን እንደ የማስረጃ በር ይያዙት፡ መስፈርቶቹ ካልተሟሉ፣ መልቀቅን ለአፍታ ያቁሙ፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።

4

መውደቅ እና ስቶክካስቲክ መደበኛ አሰራር የሚረዳበት እና ቀላል ዘዴዎች የተሻሉበት ሰነድ።

ይህንን እንደ የማስረጃ በር ይያዙት፡ መስፈርቶቹ ካልተሟሉ፣ መልቀቅን ለአፍታ ያቁሙ፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።

ማሰስዎን ይቀጥሉ

Check your understanding

Test yourself: take the Dropout and Stochastic Regularization quiz

Start quiz