የጥልቆች ድብልቅ
የጥልቀት ድብልቅ (MoD) አንድ ትራንስፎርመር በተለያዩ ቶከኖች ላይ የተለያየ መጠን ያለው ስሌት እንዲያወጣ ያስችለዋል፣ በእያንዳንዱ ንብርብር ከባድ ስሌት ውስጥ 'አስፈላጊ' ቶከኖችን ብቻ በማዞር።
አጠቃላይ እይታ
It cuts the cost of processing easy tokens while keeping a fixed, predictable compute budget.
ጥልቅ ዳይቭ
መደበኛ ትራንስፎርመሮች እያንዳንዱን ሽፋን በእያንዳንዱ ቶከን ላይ ይተገብራሉ፣ እንደ ሥርዓተ-ነጥብ ያሉ ተራ ያልሆኑትንም ጭምር። የጥልቀት ድብልቅ፣ በGoogle DeepMind በ2024 አስተዋወቀ፣ በእያንዳንዱ ብሎክ ላይ አንድ ትንሽ ራውተር ያክላል፣ ሙሉ የራስ ትኩረትን እና MLP ስሌትን ለማካሄድ ቋሚ top-k ክፍልፋይ ቶከኖችን ይመርጣል። ቀሪው በቀረው ግንኙነት በኩል እገዳውን ይዝለሉ. በአንድ ንብርብር k ቶከኖች ብቻ ስለሚሠሩ፣ ጠቅላላ ስሌት (FLOPs) የታሸገ እና አስቀድሞ የሚታወቅ ነው፣ ከቀደምት ተለዋዋጭ-ጥልቅ ዘዴዎች ባልተጠበቀ ሁኔታ ይለያያሉ። ይህ ባቺንግ እና የሃርድዌር አጠቃቀምን ውጤታማ ያደርገዋል። በMoD የሰለጠኑ ሞዴሎች በአንድ ወደፊት ማለፊያ ጥቂት FLOPs በመጠቀም የመነሻ ትራንስፎርመርን ጥራት ማዛመድ ወይም በተመሳሳይ ስሌት ከፍተኛ ጥራት ሊደርሱ ይችላሉ፣ እና ሀሳቡ በተፈጥሮ ከ Mixture-of-Experts ጋር በማቀናጀት በሁለቱም ጥልቀት እና ስፋት ላይ የሚሄዱ ሞዴሎችን 'MoDE' ይሰጣል።
ቴክኒካዊ ግንዛቤ
በእያንዳንዱ የMoD ብሎክ፣ የተማረ መስመራዊ ራውተር እያንዳንዱን ቶከን ያስቆጥራል እና ከፍተኛ-kን በውጤት ያስቀምጣል። የተመረጡ ቶከኖች በትኩረት እና በMLP በኩል ያልፋሉ፣ ያልተመረጡ ቶከኖች በቀሪው መንገድ ሳይለወጡ ወደ ፊት ይሸጋገራሉ። ቋሚ top-kን መጠቀም (ከአንድ-ቶከን ጣራ ይልቅ) የስሌት ግራፉን የማይንቀሳቀስ እና የአስረኛ ቅርጾችን ቋሚ ያደርገዋል፣ ይህም ሃርድዌር ተስማሚ ነው። ራውተር ከተቀረው አውታረ መረብ ጋር የሰለጠነ ነው፣ እና የምክንያት ትውልድ ረዳት ተንታኞችን ስለሚጠቀም የማዘዋወር ውሳኔዎች የወደፊት ምልክቶችን እንዳያዩ።
ስልታዊ ተጽእኖ
ፍጥነት እና ልኬት
የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።
መድረስ እና መድረስ
በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።
ግልጽ ውሳኔዎች
አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።
የጥልቀት ድብልቅ የወደፊት ዕጣ
ሁኔታዊ ስሌት እንደ ሞዴሎች መለኪያ ቅልጥፍና ዋና መሪ ነው፣ እና MoD ቀደምት፣ ንጹህ ምሳሌ ነው። ከድብልቅ-ኦቭ-ኤክስፐርቶች ጋር ጥልቅ ውህደትን ይጠብቁ (በሁለቱም የጥልቀት እና የባለሙያዎች አቅጣጫ)፣ ለቀላል ግብዓቶች የሚቀነሱ ተለዋዋጭ በጀቶችን እና የትኞቹ ቶከኖች ጥልቅ ሂደት እንደሚያስፈልጋቸው በተሻለ የሚለዩ ራውተሮችን ይጠብቁ። የኢንፈረንስ ወጪዎች የስምሪት ኢኮኖሚክስን የሚቆጣጠሩ በመሆናቸው፣ ሞዴሎች በሚያስፈልግበት ጊዜ ብቻ 'ጠንክረው እንዲያስቡ' የሚፈቅዱ ቴክኒኮች፣ ሊገመት የሚችል መዘግየትን እየጠበቁ፣ በትላልቅ አርክቴክቸር ውስጥ መደበኛ ሊሆኑ ይችላሉ።
የእውነተኛ-ዓለም አተገባበር
በመሙያ ቶከኖች ላይ ጥልቅ ስሌትን በመዝለል ረጅም ሰነዶችን ለመስራት የሚያስፈልጉትን FLOPs መቀነስ
በዝቅተኛ ስሌት ከመነሻ ጥራት ጋር የሚዛመድ ሞዴል ማሰልጠን፣ የአገልግሎት ዋጋን በመቀነስ
በሁለቱም የንብርብር ጥልቀት እና የባለሙያ ምርጫ ላይ ለመምራት ከድብልቅ-ኦክስፐርቶች (MoDE) ጋር በማጣመር
በንብርብር የሚሰላ በጀት አስቀድሞ የተወሰነ ስለሆነ ሊተነበይ የሚችል፣ ቋሚ መዘግየትን በአንድ ማስመሰያ ማቆየት።
አደጋዎች እና የጥበቃ መንገዶች
የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።
ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።
የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።
የትግበራ ፍኖተ ካርታ
ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።
ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።
ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።
የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture of Depths quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
የተወካዮች ድብልቅ
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Mixture of Depths?
የጥልቀት ድብልቅ (MoD) አንድ ትራንስፎርመር በተለያዩ ቶከኖች ላይ የተለያየ መጠን ያለው ስሌት እንዲያወጣ ያስችለዋል፣ በእያንዳንዱ ንብርብር ከባድ ስሌት ውስጥ 'አስፈላጊ' ቶከኖችን ብቻ በማዞር። ቋሚ፣ ሊገመት የሚችል ስሌት በጀት እያስቀመጠ ቀላል ቶከኖችን የማዘጋጀት ወጪን ይቀንሳል።
የጥልቀት ቅልቅል በቶከኖች ምን ይለያያል?
MoD አንዳንድ ምልክቶችን በእያንዳንዱ ንብርብር ከባድ ስሌት ብቻ ይመራል፣ ስለዚህ የተለያዩ ቶከኖች በብቃት የተለያየ ጥልቀት ያገኛሉ።
እንዴት ነው MOD የሂሳብ በጀቱን መተንበይ የሚጠብቀው?
ቋሚ top-k ቶከኖች በአንድ ብሎክ መምረጥ FLOPs እና የ tensor ቅርጾችን ቋሚ ያደርገዋል፣ ይህም ለሃርድዌር ተስማሚ ነው።
ራውተር በተወሰነ ብሎክ ላይ የማይመርጣቸው ቶከኖች ምን ይሆናሉ?
ያልተመረጡ ቶከኖች የማገጃውን ስሌት ያልፋሉ እና በቀሪው መንገድ ሳይለወጡ ወደ ፊት ይጓዛሉ።
የጥልቀት ድብልቅን ማን አስተዋወቀ?
የጥልቀት ቅልቅል በGoogle DeepMind በ2024 በተለዋዋጭ ትራንስፎርመር ስሌት ላይ ቀርቧል።
MoDን ከድብልቅ-ኦፍ-ባለሙያዎች ጋር ማጣመር ምን ያስገኛል?
የጥልቀት ማዘዋወርን ከኤክስፐርት ማዘዋወር ጋር በማጣመር በሁለቱም ንብርብሮች እና በባለሙያዎች ላይ የሚሰሉ 'MoDE' ሞዴሎችን ይሰጣል።