የ Medusa ዲኮዲንግ ራሶች መመሪያ

አጠቃላይ እይታ

By verifying these guesses in a single forward pass, it speeds up text generation roughly 2-3x without changing the model's output distribution.

ጥልቅ ዳይቭ

መደበኛ የቋንቋ ሞዴሎች በአንድ ወደፊት ማለፊያ አንድ ማስመሰያ ያመነጫሉ፣ ይህም ቀርፋፋ ነው ምክንያቱም እያንዳንዱ እርምጃ የቀደመውን መጠበቅ አለበት። ሜዱሳ ከቀዘቀዘው የመሠረት ሞዴል አናት ላይ ቀላል ክብደት ያላቸውን መጋቢ-አስተላላፊ ራሶች ይጨምራል። እያንዳንዱ ጭንቅላት ጥቂት ቦታዎችን ወደፊት ይተነብያል (ራስ 1 የሚቀጥለውን ምልክት ይተነብያል፣ ጭንቅላት 2 ከቶውን በኋላ እና ወዘተ)። እነዚህ ትንበያዎች የእጩ ቀጣይነት ዛፍ ይመሰርታሉ. ሙሉው ሞዴል ሞዴሉ ሊያመርተው ከሚችለው ጋር የሚዛመድ ረጅሙን ቅድመ ቅጥያ በመቀበል 'የዛፍ ትኩረት' ጭምብል በመጠቀም ሙሉውን ዛፍ በአንድ ማለፊያ ያረጋግጣል። ማረጋገጫ ዋናውን ሞዴል ስለሚጠቀም ሜዱሳ ኪሳራ የለውም፡ ተቀባይነት ያለው ጽሁፍ ስግብግብ ወይም ናሙና የተደረገው ዲኮዲንግ ያመነጨው ነበር፣ በጥቂት ቅደም ተከተሎች ብቻ የተሰራ።

ቴክኒካዊ ግንዛቤ

እያንዳንዱ የሜዱሳ ጭንቅላት ትንሽ ቀሪ MLP ነው, እሱም የመሠረቱን ሞዴል የመጨረሻውን የተደበቀ ሁኔታ በቶከኖች ላይ በማካካሻ ላይ ማሰራጨት. ከጭንቅላቱ የመጡ እጩዎች በዛፍ ላይ ይደረደራሉ ፣ እና በልዩ ሁኔታ የተሰራ ትኩረት ጭምብል የመሠረቱ ሞዴል እያንዳንዱን ቅርንጫፍ በአንድ ጊዜ በአንድ ወደፊት እንዲያልፍ ያስችለዋል። የተለመደው ተቀባይነት እቅድ የትኞቹ ግምታዊ ቶከኖች እንደሚቀመጡ ይወስናል፣ ውጤቱም ከዋናው ሞዴል ናሙና ጋር እንደሚዛመድ ዋስትና ይሰጣል፣ ስለዚህም ተከታታይ ደረጃዎች ሲወድቁ ጥራቱ ይጠበቃል።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

የሜዱሳ ዲኮዲንግ ራሶች የወደፊት ዕጣ

ግምታዊ ዲኮዲንግ በምርት ኢንቬንሽን ቁልል ውስጥ መደበኛ እየሆነ መጥቷል፣ እና እንደ Medusa ያሉ እራሳቸውን የቻሉ አቀራረቦች፣ የተለየ ረቂቅ ሞዴል ከመፈለግ የሚቆጠቡ፣ ለማሰማራት ቀላል ስለሆኑ ማራኪ ናቸው። የወደፊት ስራ የሜዱሳ አይነት ራሶችን ከ EAGLE አይነት ባህሪ ትንበያ፣ የተሻለ የዛፍ ግንባታ እና ሃርድዌር የሚያውቅ ማረጋገጫን ያዋህዳል። በአገልግሎት ማዕቀፎች ላይ ጥብቅ ውህደትን፣ በየስራ ጫናው የዛፍ ቅርፅን በራስ ሰር ማስተካከል እና ከKV-cache መጭመቂያ ጋር ውህዶች ያለ ተጨማሪ ጂፒዩዎች ወይም የጥራት ኪሳራ እንዲቀንስ ይጠብቁ።

የእውነተኛ-ዓለም አተገባበር

በአንድ ወደፊት ማለፊያ ብዙ የተረጋገጡ ቶከኖችን በመቀበል የቻትቦት ምላሽ መዘግየትን መቁረጥ

ሊገመቱ የሚችሉ የማስመሰያ ቅደም ተከተሎች በቀላሉ ለመገመት ቀላል የሆኑ የኮድ ማጠናቀቂያ ረዳቶችን ማፋጠን

የተለየ ረቂቅ ሞዴል ሳይዘረጋ ለከፍተኛ ትራፊክ LLM ኤፒአይዎች የዋጋ ቅናሽ

ውፅዓት ከመደበኛ ዲኮዲንግ ጋር አንድ አይነት ሆኖ እንዲቆይ በማድረግ እንደ ማጠቃለያ ያሉ የረዥም ጊዜ የጽሑፍ ማመንጨትን ማፋጠን

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Medusa Decoding Heads quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የመድገም ቅጣት እና ኮድ መፍታት መቆጣጠሪያዎች

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Medusa Decoding Heads?

ሜዱሳ ብዙ ተጨማሪ ትንበያ 'ጭንቅላቶችን' በቋንቋ ሞዴል ላይ የሚሰርዝ ግምታዊ-መግለጫ ዘዴ ነው ስለዚህም ብዙ የወደፊት ምልክቶችን በአንድ ጊዜ መገመት ይችላል። እነዚህን ግምቶች በአንድ ወደፊት ማለፊያ በማረጋገጥ፣ የሞዴሉን የውጤት ስርጭት ሳይቀይር ከ2-3x ያህል የጽሁፍ ማመንጨትን ያፋጥናል።

ተጨማሪ የሜዱሳ ራሶች ምን ይተነብያሉ?

እያንዳንዱ የሜዱሳ ጭንቅላት ወደፊት ብዙ ቦታዎችን ይተነብያል፣ ስለዚህ ብዙ ቶከኖች በአንድ ጊዜ ሊቀርቡ ይችላሉ።

ሜዱሳ ከመደበኛ ዲኮዲንግ ጋር ሲወዳደር 'ኪሳራ የለውም' የሚባለው ለምንድነው?

የመሠረት ሞዴሉ የእጩዎችን ቶከኖች ያረጋግጣል ፣ ለማንኛውም ሊያወጣው የሚችለውን ብቻ ይቀበላል ፣ የውጤት ስርጭቱን ይጠብቃል።

የሜዱሳ እጩ ቀጣይነት ለማረጋገጫ ምን አይነት መዋቅር ተዘጋጅቷል?

እጩዎች አንድ ዛፍ ይመሰርታሉ, እና የዛፍ ትኩረት ጭምብል የመሠረቱ ሞዴል ሁሉንም ቅርንጫፎች በአንድ ወደፊት ማለፍ እንዲያረጋግጥ ያስችለዋል.

የሜዱሳ በረቂቅ-ሞዴል ግምታዊ መፍታት ላይ ያለው ቁልፍ ጥቅም ምንድን ነው?

ሜዱሳ ቀላል ክብደት ያላቸውን ራሶች አሁን ካለው ሞዴል ጋር በማያያዝ የተለየ ረቂቅ መረብ ማሰልጠን እና ማገልገል አያስፈልግም።

ሜዱሳ በተለምዶ ምን ያህል ፍጥነት ሪፖርት ያደርጋል?

Medusa በአጠቃላይ በስራው ጫና ላይ በመመስረት የትውልድ መዘግየት በግምት 2-3x ይቀንሳል።