የቴክኒክ መመሪያ

SwiGLU እና ጌትድ እንቅስቃሴዎች

SwiGLU የግቤትን አንድ መስመራዊ ትንበያ በስዊሽ-ገብሯል ሁለተኛ ትንበያ የሚያባዛ ፣ በትራንስፎርመር መጋቢ-አስተላላፊ ንብርብሮች ውስጥ እንደ መማር የሚቻል እና በመረጃ ላይ የተመሠረተ በር የሚያሰራ የታጠፈ የማግበር ተግባር ነው።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው ጁን 2 2026

አጠቃላይ እይታ

It consistently improves language-model quality, which is why nearly every modern LLM uses it.

ጥልቅ ዳይቭ

መደበኛ ትራንስፎርመር መጋቢ-ማስተላለፊያ ብሎክ በመካከላቸው ReLU ወይም GELU ያለው ሁለት መስመራዊ ንብርብሮች ነው። በ Dauphin et al የቀረበ። እ.ኤ.አ. በ 2016 ፣ የመጀመሪያውን ትንበያ በሁለት ግማሽ ከፍለው እና አንዱን ግማሹን በኤለመን-ጥበባዊ ማባዛት በኩል ሌላኛውን በር ይጠቀሙ። በ2020 በNoam Shazeer ታዋቂ የሆነው SwiGLU ለዚያ በር የስዊሽ (SiLU) ተግባርን ይጠቀማል፡ ውፅዓት = (ስዊሽ(xW) * (xV)) W2፣ ከሁለት ይልቅ በሶስት የክብደት ማትሪክስ። መግቢያው አውታረ መረቡ በየልኬት መረጃን እየመረጠ እንዲያልፍ ወይም እንዲያፍን ያስችለዋል። ሶስተኛው ማትሪክስ መጨመር ግቤቶችን ስለሚያሳድግ፣ ትግበራዎች የተደበቀውን ልኬት በግምት ወደ ሁለት ሶስተኛ ስለሚቀንስ አጠቃላይ ስሌት ከ GELU MLP ጋር እንደሚወዳደር ይቆያል። የሻዚር ሙከራዎች ሊለካ የሚችል ግራ መጋባትን አሳይተዋል፣ እና LLAMA፣ PaLM እና Misral ሁሉም ተቀብለውታል።

ቴክኒካዊ ግንዛቤ

ስዊሽ x * sigmoid(ቤታ*x) ነው፣ ለስላሳ፣ ሞኖቶኒክ ያልሆነ ተግባር፣ ከReLU በተቃራኒ ትናንሽ አሉታዊ እሴቶችን ይፈቅዳል። በSwiGLU የ'ጌት' ቅርንጫፍ Swish(xW) 0 ወይም 1 የሚጠጉ እሴቶችን ያመነጫል ይህም የ'ዋጋ' ቅርንጫፍ xV ኤለመንትን በማባዛት የእያንዳንዱ የተደበቀ ክፍል አስተዋፅዖ በተማረ እና በግብአት ላይ የተመሰረተ ምልክት ይቀይራል። ሦስተኛው የክብደት ማትሪክስ ዋጋ ነው; ሁለት ሦስተኛው ድብቅ መጠን ያለው ብልሃት የFLOP በጀት ከቫኒላ መጋቢ-ወደፊት ንብርብር ጋር እንዲዛመድ ያደርገዋል።

ስልታዊ ተጽእኖ

ወጪ እና በጀት

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.

ግልጽ ውሳኔዎች

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።

የጥራት ቁጥጥር

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.

የSwiGLU እና የጌትድ እንቅስቃሴዎች የወደፊት ዕጣ

SwiGLU እንደ ነባሪ MLP በክፍት ክብደት ኤል.ኤም.ኤም. ንቁ አቅጣጫዎች GeGLU እና ReGLU ልዩነቶችን ያካትታሉ፣ ሁለቱንም ትንበያዎች በአንድ ማለፊያ የሚሰሉ የተዋሃዱ የጂፒዩ አስኳሎች፣ እና የተከለሉ ኤምኤልፒዎችን ከባለሞያዎች ድብልቅ ጋር በማጣመር እያንዳንዱ ባለሙያ ራሱ የSwiGLU ብሎክ ነው። ተመራማሪዎች ጌቲንግ ለምን ማመቻቸትን እንደሚያግዝ እያጠኑ ነው፣ በርካሽ በሮች እንኳን ለመንደፍ በማለም።

የእውነተኛ-ዓለም አተገባበር

ላማ፣ ፓልም እና ሚስትራል ግራ መጋባትን በእኩል ስሌት ለማውረድ የGELU መጋቢ-አስተላላፊ ንብርብርን በSwiGLU ይተካሉ

የተደበቀው ልኬት ወደ ሁለት ሶስተኛው (8/3 ዲ) ተመዝኗል ስለዚህ ተጨማሪው የጌቲንግ ማትሪክስ FLOPsን አይነፋም

እንደ ሚክስትራል ያሉ የባለሙያዎች ድብልቅ ሞዴሎች የ SwiGLU ብሎኮችን እንደ የባለሞያ መጋቢ አስተላላፊ አውታረ መረብ ይጠቀማሉ።

ቪዥን እና መልቲሞዳል ትራንስፎርመሮች የMLP ንዑስ ገዢዎቻቸውን ለማሻሻል GeGLU/SwiGLU gating ይዋሳሉ

አደጋዎች እና የጥበቃ መንገዶች

አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።

የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.

ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።

የትግበራ ፍኖተ ካርታ

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።

ማሰስዎን ይቀጥሉ

AI ቤንችማርኮች

ቴክኒካዊ አማራጮችን ሲያወዳድሩ ግምገማን በአግባቡ ይጠቀሙ።

መመሪያ ያንብቡ

የማጠናከሪያ ትምህርት

ወደ ቴክኒካዊ የሥልጠና ስልቶች በጥልቀት ይሂዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the SwiGLU and Gated Activations quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የማግበር ድጋሚ ስሌት ውድቀቶች

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is SwiGLU and Gated Activations?

SwiGLU የግቤትን አንድ መስመራዊ ትንበያ በስዊሽ-ገብሯል ሁለተኛ ትንበያ የሚያባዛ ፣ በትራንስፎርመር መጋቢ-አስተላላፊ ንብርብሮች ውስጥ እንደ መማር የሚቻል እና በመረጃ ላይ የተመሠረተ በር የሚያሰራ የታጠፈ የማግበር ተግባር ነው። የቋንቋ-ሞዴል ጥራትን በተከታታይ ያሻሽላል፣ ለዚህም ነው ሁሉም ዘመናዊ LLM የሚጠቀመው።

የተከለለ መስመራዊ ክፍልን የሚገልጸው የትኛው ዋና ሥራ ነው?

A GLU የእሴት ትንበያን በበር ፕሮጄክሽን ኤለመንት-ጥበበኛ ያባዛል፣ ይህም የአውታረ መረቡ መረጃ በአንድ ልኬት እንዲቆጣጠር ያስችለዋል።

SwiGLU ለበር ቅርንጫፍ የትኛውን የማግበር ተግባር ይጠቀማል?

SwiGLU ለጌቲንግ ቅርንጫፍ በ x * sigmoid(beta*x) የተገለፀውን SiLU ተብሎ የሚጠራውን Swish ይጠቀማል።

የSwiGLU መጋቢ-ወደ ፊት የሚያግድ ስንት የክብደት ማትሪክስ ይጠቀማል?

SwiGLU ሶስት ማትሪክስ ያስፈልገዋል፡ የበሩን ትንበያ፣ የእሴት ትንበያ እና የውጤት ትንበያ።

ለምንድነው የተደበቀው ልኬት በSwiGLU ንብርብሮች ውስጥ በተለምዶ ወደ ሁለት ሶስተኛው የሚመዘነው?

ሶስተኛው ማትሪክስ አለበለዚያ ስሌትን ይጨምራል፣ ስለዚህ የተደበቀውን መጠን ወደ 8/3 ዲ ገደማ መቀነስ በጀቱ እንዲመሳሰል ያደርገዋል።

በ2020 SwiGLUን ለትራንስፎርመር መጋቢ-ወደ ፊት ንብርብሮች ታዋቂ ያደረገው ማነው?

የኖአም ሻዚር 2020 ማስታወሻ 'GLU Variants Improve Transformer' SwiGLUን አስተዋወቀ እና የግራ መጋባት ትርፉን አሳይቷል።