ሹልነት-አወቀ ማሳነስ
ሹልነት-አዋቂ ማሳነስ (SAM) ዝቅተኛ ኪሳራን ብቻ ሳይሆን ዝቅተኛ ኪሳራን የሚፈልግ አጠቃላይ የክብደት ሰፈር - ጠፍጣፋ ዝቅተኛ።
አጠቃላይ እይታ
Flatter minima tend to generalize better, so SAM often improves test accuracy and robustness without changing the model architecture.
ጥልቅ ዳይቭ
መደበኛ ስልጠና በክብደት ቦታ ላይ በአንድ ነጥብ ላይ ያለውን ኪሳራ ይቀንሳል ነገር ግን ተመሳሳይ የስልጠና ማጣት ያላቸው ሁለት መፍትሄዎች በጣም በተለየ መንገድ ሊሄዱ ይችላሉ፡ ‘ሹል’ በትንሹ በትንሹ ሸለቆ ውስጥ ተቀምጧል ጥቃቅን የክብደት ችግሮች ኪሳራውን በሚጨምሩበት ጠባብ ሸለቆ ውስጥ፣ ‘ጠፍጣፋ’ ዝቅተኛው ደግሞ ግርግርን የሚታገስ ሲሆን አብዛኛውን ጊዜ የማይታይ መረጃን በተሻለ ሁኔታ ያዘጋጃል። በ2020 በGoogle ተመራማሪዎች የተዋወቀው SAM ይህንን ግልፅ ያደርገዋል። በእያንዳንዱ እርምጃ በመጀመሪያ በአቅራቢያው የሚገኘውን የክብደት መዛባት (በትንሽ ራዲየስ rho ውስጥ) ኪሳራውን ከፍ ያደርገዋል - በጣም የከፋው ጎረቤት - ከዚያም በዚያ በተዛባ ቦታ ላይ ያለውን ኪሳራ ለመቀነስ የመጀመሪያውን ክብደቶች ያሻሽላል። ይህ ዝቅተኛ-ከፍተኛ ዓላማ በአንድነት ዝቅተኛ ወደሆኑ ክልሎች ማመቻቸትን ይገፋፋል፣ ይህም በምስል አመዳደብ እና ከዚያም በላይ የተሻለ አጠቃላይ መረጃ ይሰጣል።
ቴክኒካዊ ግንዛቤ
እያንዳንዱ የ SAM ደረጃ ሁለት ማለፊያዎች ነው. በመጀመሪያ ቅልመትን አሁን ባለው ክብደቶች አስሉት እና በአቅራቢያው ወደሚገኝ በጣም መጥፎ ቦታ ለመድረስ የ'አሲንት' የመጠን እርምጃ rho በ ቅልመት አቅጣጫ ይውሰዱ። ሁለተኛ፣ ግራዲውንቱን በዚያ በተዛባ ቦታ አስሉት እና የመጀመሪያውን ክብደቶች ለማዘመን ይጠቀሙበት። ራዲየስ ሮሆ ምን ያህል ትልቅ ሰፈር እንደሚከላከሉ ይቆጣጠራል። ወጪው በግምት ሁለት ወደፊት-ኋላ ማለፊያዎች በአንድ ደረጃ ነው፣ ይህም ማስላት በእጥፍ ይጨምራል - ዋናው ተግባራዊ እክል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የሹልነት-አወቀ የመቀነስ የወደፊት
SAM በትልቁ ድክመቱ፣ በእጥፍ የተጨመረው ስሌት፡ ቀልጣፋ ልዩነቶችን እንደ ESAM፣ LookSAM እና የክብደት ንኡስ ስብስብን ብቻ የሚረብሹ ወይም SAMን በየጥቂት እርምጃዎች ላይ የሚያተኩሩ ተከታታዮች ቤተሰብን ፈጥሯል። አዳፕቲቭ ሳም (አሳም) ራዲየስን ወደ ሚዛን-የማይለወጥ ያደርገዋል። ተመራማሪዎች ጠፍጣፋነት ለምን እንደሚረዳ እና እንዴት እንደሚለካው በትክክል መጨቃጨቃቸውን ቀጥለዋል፣ እና ስለታም የሚያውቁ ሀሳቦች ትላልቅ የቋንቋ ሞዴሎችን ለማስተካከል እና ጥንካሬን ወደ ስርጭት ፈረቃ እያሻሻሉ ነው።
የእውነተኛ-ዓለም አተገባበር
በ ImageNet ላይ የእይታ ትራንስፎርመርን እና የResNet ትክክለኛነትን ከSAM ጋር በማሰልጠን ማሳደግ።
ጠፍጣፋ ሚኒማ የተበላሹ መለያዎችን የማስታወስ ዕድላቸው አነስተኛ ስለሆነ ጩኸትን ለመሰየም ጥንካሬን ማሻሻል።
በጥሩ ሁኔታ የሰለጠነ የቋንቋ ሞዴሎችን ከSAM ጋር በማስተካከል በትናንሽ የታችኛው ተፋሰስ የውሂብ ስብስቦች ላይ የተሻለ አጠቃላይ መረጃ ለማግኘት።
በእጥፍ የተጨመረው የቫኒላ ሳም ዋጋ በጣም ውድ በሚሆንበት ጊዜ ESAM ወይም LookSAM ተለዋጮችን መጠቀም።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sharpness-Aware Minimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
DenseNet እና ጥቅጥቅ ግንኙነት
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Sharpness-Aware Minimization?
ሹልነት-አዋቂ ማሳነስ (SAM) ዝቅተኛ ኪሳራን ብቻ ሳይሆን ዝቅተኛ ኪሳራን የሚፈልግ አጠቃላይ የክብደት ሰፈር - ጠፍጣፋ ዝቅተኛ። Flatter minima በተሻለ ሁኔታ ጠቅለል አድርጎ የመመልከት አዝማሚያ አለው፣ ስለዚህ SAM ብዙውን ጊዜ የሞዴሉን አርክቴክቸር ሳይለውጥ የፈተና ትክክለኛነትን እና ጥንካሬን ያሻሽላል።
SAM ምን ዓይነት ዝቅተኛ ለማግኘት ይሞክራል?
SAM ጠፍጣፋ ሚኒማ ላይ ያነጣጠረ ነው ምክንያቱም በአነስተኛ የክብደት መዛባቶች ዝቅተኛ ሆኖ የሚቀረው መጥፋት ወደማይታየው መረጃ በተሻለ ሁኔታ የማጠቃለል አዝማሚያ ስላለው ነው።
አንድ መደበኛ የሳም ደረጃ ስንት ወደፊት-ኋላ ማለፊያዎች ያስፈልገዋል?
SAM በጣም የከፋውን በአቅራቢያው ነጥብ ለማግኘት ቅልመት ያሰላል፣ ከዚያ ሌላ የሚዘመን ቅልመት - ከተለመደው ወጪ በእጥፍ።
በ SAM ውስጥ የራዲየስ ሃይፐርፓራሜትር rho ምን ይቆጣጠራል?
Rho ጠፍጣፋ ክልል SAM ምን ያህል እንደሚፈልግ በመግለጽ የከፋውን ጎረቤት ለማግኘት የ'አቀበት' እርምጃው ምን ያህል እንደሚራመድ ያዘጋጃል።
በእያንዳንዱ ድግግሞሽ የሳም ሁለት ደረጃዎች የመጀመሪያው ምንድን ነው?
SAM በመጀመሪያ በራዲየስ rho ውስጥ ያሉትን ሸክሞች ኪሳራውን ወደሚጨምርበት አቅጣጫ ያዛባል፣ ከዚያም እዚያ የተሰላውን ቅልመት በመጠቀም ከመጀመሪያው ነጥብ ይወርዳል።
ለምንድን ነው SAM ብዙውን ጊዜ ድምጽን ለመሰየም ጥንካሬን የሚያሻሽለው?
ጫጫታ ያላቸውን መለያዎች ማስታወስ ብዙውን ጊዜ ስለታም ጠባብ ሚኒማ ይጠይቃል። ጠፍጣፋ ክልሎችን በመደገፍ ፣ SAM ያንን ከመጠን በላይ መገጣጠምን ይቃወማል።