የማግበር ተግባራት መመሪያ

አጠቃላይ እይታ

Without them, a deep network would collapse into a single linear equation.

ጥልቅ ዳይቭ

እያንዳንዱ የነርቭ ሴል የግብአቱን ክብደት ድምር ያሰላል፣ ነገር ግን ያ ድምር ብቻ መስመራዊ ነው። ብዙ መስመራዊ ንብርብሮችን ቁልል እና፣ በሂሳብ፣ አሁንም አንድ ትልቅ የመስመር ተግባር ብቻ ነው ያለህ፣ ምንም ያህል ጥልቅ ቢሆን። የማግበር ተግባራት ይህንን የሚያፈርሱት ቀጥተኛ ያልሆነ ለውጥ በእያንዳንዱ የነርቭ ሴል ውፅዓት ላይ በመተግበር ኔትወርኮች ማንኛውንም ተግባር ለመገመት የሚያስችል ኃይል በመስጠት ነው። በጣም ታዋቂው ReLU ነው, ይህም በቀላሉ መግቢያውን አዎንታዊ ከሆነ እና ዜሮ ካልሆነ; ፈጣን ነው እና የቆዩ ተግባራትን አንዳንድ የስልጠና ችግሮችን ያስወግዳል. የሲግሞይድ እና ታንህ ስኳሽ እሴቶች ወደ ውሱን ክልሎች እና በታሪክ የተለመዱ ነበሩ ነገር ግን በጥልቅ አውታረ መረቦች ውስጥ በመጥፋት ቀስ በቀስ ሊሰቃዩ ይችላሉ። የSoftmax ተግባር፣ በውጤቱ ላይ ጥቅም ላይ የዋለ፣ ጥሬ ውጤቶችን በክፍሎች ላይ ወደሚቻል ስርጭት ይለውጣል።

ቴክኒካዊ ግንዛቤ

የReLU ይግባኝ በከፊል አዝጋሚ ነው፡ እሱ ለአዎንታዊ ግብዓቶች በትክክል 1 ነው፣ ስለዚህ በኋለኛው ፕሮፓጋንዳ ወቅት የስህተት ምልክቱን አይቀንሰውም፣ ጥልቅ ኔትወርኮች ለማሰልጠን ይረዳል። ሲግሞይድ እና ታንህ በአንፃሩ ጫፎቻቸው ላይ ጠፍጣፋ፣ ቀስታቸው ወደ ዜሮ በሚቀርብበት፣ ይህም በጥልቅ ቁልል ውስጥ መማርን የሚያቆመው ጠፊ-ግራዲየንት ችግር ይፈጥራል። የReLU አሉታዊ ጎን የሟች-ReLU ጉዳይ ነው፣ የነርቭ ሴሎች በአሉታዊ ግብዓቶች ላይ ተጣብቀው ለዘላለም ዜሮ ይሆናሉ። እንደ Leaky ReLU እና GELU ያሉ ልዩነቶች ትንሽ ወይም ለስላሳ ያልሆነ ዜሮ ምላሽ በመፍቀድ ይህንን ይቀርባሉ።

ስልታዊ ተጽእኖ

ግልጽ ውሳኔዎች

ግልጽ ቴክኒካዊ የይገባኛል ጥያቄዎችን ከገበያ ቋንቋ እንዲለዩ ያግዝዎታል።

ወጪ እና በጀት

ገንዘብን ወይም ጊዜን ከማጥፋትዎ በፊት የተሻሉ የትግበራ ጥያቄዎችን መጠየቅ ይችላሉ።

ቡድን እና የስራ ፍሰት

የጋራ ግንዛቤ ያላቸው ቡድኖች የተሻለ ምርት፣ ፖሊሲ እና የመማር ውሳኔዎችን ያደርጋሉ።

የማግበሪያ ተግባራት የወደፊት

ReLU እና ለስላሳ የአጎቱ ልጅ GELU ዛሬ የበላይነት አላቸው፣ GELU በትራንስፎርመሮች ዘንድ ተወዳጅነት አለው ምክንያቱም ለስላሳ ኩርባው ከስልጠና ተለዋዋጭነታቸው ጋር በጥሩ ሁኔታ ይጣመራል። ምርምር እንደ SwiGLU ያሉ የተማሩ እና የተከለከሉ እንቅስቃሴዎችን ይዳስሳል፣ አሁን በትልቅ ቋንቋ ሞዴሎች የተለመደ፣ ገላጭነትን ለመጨመር ማባዛትን ይጠቀማሉ። ሰፊው አዝማሚያ ቀስ በቀስ ፍሰትን እና የሞዴል ጥራትን በመጠን ወደሚያሻሽሉ ለስላሳ እና የታሸጉ ተግባራት ነው። ያልተለመዱ እንቅስቃሴዎች በወረቀት ላይ በመደበኛነት ሲታዩ፣ ቀላል እና ጥሩ ባህሪ ያላቸው ተግባራት በአስተማማኝ ሁኔታ ግዙፍ ሞዴሎችን ስለሚያሰለጥኑ በተግባር ያሸንፋሉ።

የእውነተኛ-ዓለም አተገባበር

ለምስል ማወቂያ የተጠማዘዘ የውሳኔ ድንበሮችን መማር እንዲችል ReLUን በተዘዋዋሪ አውታረ መረብ ድብቅ ንብርብሮች ውስጥ መጠቀም

የክላሲፋየር ጥሬ ነጥቦችን ወደ አንድ የሚያጠቃልሉ የክፍል እድሎች ለመቀየር በመጨረሻው ንብርብር ላይ softmax መተግበር

ለስላሳ ቅልመት ፍሰት በትራንስፎርመር ቋንቋ ሞዴል ውስጥ የGELU ማነቃቂያዎችን መምረጥ

በአውታረ መረብ ውስጥ በጣም ብዙ የነርቭ ሴሎች ሲሞቱ እና ምላሽ መስጠት ሲያቆሙ ወደ Leaky ReLU መቀየር

አደጋዎች እና የጥበቃ መንገዶች

የተለያዩ ቡድኖች ተመሳሳይ ቃል በተለያየ መንገድ ሊጠቀሙ ይችላሉ፣ ስለዚህ ወሰንን ቀደም ብለው ይግለጹ።

የገሃዱ ዓለም አፈጻጸም ያልተስተካከለ ሆኖ ሳለ ማመሳከሪያዎች ጠንካራ ሊመስሉ ይችላሉ።

የውሂብ ጥራት እና የግምገማ እቅዶችን ችላ ማለት ብዙውን ጊዜ ደካማ ውጤቶችን ይፈጥራል.

የትግበራ ፍኖተ ካርታ

የሚፈልጉትን ውጤት በግልፅ ቋንቋ ትርጉም ይጀምሩ።

ከመሞከርዎ በፊት አንድ የስኬት መለኪያ እና አንድ የውድቀት ሁኔታ ይምረጡ።

አንድ ትንሽ አብራሪ በተወካይ ውሂብ ያሂዱ እንጂ የተጣራ ማሳያ ስብስብ አይደለም።

የማግበር ተግባራት የሚያግዝ እና ቀላል ዘዴዎች የተሻሉበት ሰነድ።

ማሰስዎን ይቀጥሉ

AI ምንድን ነው?

በጥልቀት ከመጥለቅዎ በፊት አስፈላጊ ጽንሰ-ሀሳቦችን ያግኙ።

መመሪያ ያንብቡ

AI እንዴት እንደሚማር

ከዘመናዊ ስርዓቶች በስተጀርባ ያለውን የስልጠና ሂደት ይረዱ.

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Activation Functions quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የመጥፋት ተግባራት

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Activation Functions?

የማግበር ተግባራት በእያንዳንዱ የነርቭ ሴል ውስጥ ያሉ ትናንሽ መስመር ያልሆኑ በሮች ናቸው የነርቭ አውታረ መረቦች ከቀጥታ መስመሮች ይልቅ ውስብስብ እና ጠማማ ቅጦችን እንዲማሩ ያስችላቸዋል። ያለ እነርሱ፣ ጥልቅ አውታረ መረብ ወደ ነጠላ መስመራዊ እኩልታ ይወድቃል።

የማግበር ተግባራት ከሌለው ጥልቅ አውታረ መረብ ምን ይሆናል?

መስመራዊ ንብርብሮችን ያለ መስመር ላይ መደርደር በሒሳብ ወደ አንድ መስመራዊ ለውጥ ይወድቃል፣ ስለዚህ አውታረ መረቡ ውስብስብ ንድፎችን መማር አይችልም።

ለአሉታዊ ግቤት የReLU ማግበር ተግባር ምንድነው?

ReLU ግቤቱን አዎንታዊ ሲሆን ዜሮ ደግሞ አሉታዊ ሲሆን ይህም ለማስላት ቀላል እና ፈጣን ያደርገዋል።

ከሲግሞይድ እና ታንህ ጋር የተያያዘው የሚጠፋ-ግራዲየንት ችግር ምንድን ነው?

ሲግሞይድ እና ታንህ ጫፎቻቸው ላይ ጠፍጣፋ ናቸው፣ስለዚህ ቅልጥፍናቸው ወደ ዜሮ እየጠበበ በጥልቅ አውታረ መረቦች ውስጥ ያለውን የስህተት ምልክት ያዳክማል።

በባለብዙ ክፍል ክላሲፋየር የውጤት ንብርብር ላይ የትኛውን የማግበር ተግባር በተለምዶ ጥቅም ላይ ይውላል?

Softmax ጥሬ ነጥቦችን ወደ አንድ ክፍል በሚጠቃለል ወደ ፕሮባቢሊቲ ስርጭት ይለውጣል፣ ለምደባ ውጤት።

እየሞተ ያለው ReLU ችግር ምንድን ነው?

የReLU ነርቭ ሁል ጊዜ አሉታዊ ግብአት የሚቀበል ከሆነ፣ ዜሮን በዜሮ ቅልመት ያስወጣል እና በትክክል መዘመን ያቆማል፣ እናም 'ይሞታል'።