የቴክኒክ መመሪያ

በEAGLE ግምታዊ መፍታት

ግምታዊ ዲኮዲንግ ትንሽ ረቂቅ ሞዴል ብዙ ምልክቶችን ወደፊት እንዲገምት በማድረግ ትልቅ የቋንቋ ሞዴል ግንዛቤን ያፋጥናል፣ ይህም ትልቁ ሞዴል በአንድ ማለፊያ ያረጋግጣል።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው

አጠቃላይ እይታ

EAGLE is a state-of-the-art version that drafts at the feature level rather than the token level, delivering 2-4x speedups with zero loss in output quality.

ጥልቅ ዳይቭ

መደበኛ የኤል.ኤም.ኤል. ማመንጨት አውቶማቲክ ነው፡ ሞዴሉ አንድ ቶከንን ያመነጫል፣ ይመገባል እና ይደግማል፣ ስለዚህ እያንዳንዱ ማስመሰያ በቢሊዮኖች በሚቆጠሩ መለኪያዎች ውስጥ ሙሉ ወደፊት ማለፍ ይፈልጋል። ግምታዊ ዲኮዲንግ ይህንን ማነቆ ይሰብራል። አንድ ርካሽ ረቂቅ አዘጋጅ የእጩ ቶከኖች ቁራጭን ያቀርባል፣ እና ውድ የሆነው ኢላማ ሞዴል ሁሉንም በአንድ ትይዩ ማለፊያ አረጋግጦ ረጅሙን ትክክለኛ ቅድመ ቅጥያ ይቀበላል። EAGLE (Extrapolation Algorithm for Greater Language-Model Efficiency) በአምሳያው የተደበቀ የባህሪ ቦታ ላይ በማዘጋጀት እና እርግጠኛ አለመሆንን ለመቀነስ የቀደመውን ማስመሰያ እውነተኛ መክተት በመመገብ ቀደምት ዘዴዎችን ያሻሽላል። EAGLE-2 ተለዋዋጭ ረቂቅ ዛፍን ይጨምራል፣ እና EAGLE-3 በተሻለ ሁኔታ ለመመዘን የባህሪ-ትንበያ ገደብ ይጥላል። በወሳኝ መልኩ፣ ማረጋገጫው ውጤቱ የታለመው ሞዴል ብቻውን ከሚያመርተው ጋር ተመሳሳይ መሆኑን ያረጋግጣል።

ቴክኒካዊ ግንዛቤ

EAGLE የዒላማ ሞዴል ቀጣዩን የተደበቀ-ግዛት ባህሪ የሚተነብይ ትንሽ አውቶሪግሬሲቭ ጭንቅላትን ያሰለጥናል፣ከዚያም የዒላማውን የኤል ኤም ጭንቅላት እንደገና ይጠቀማል ባህሪያትን ወደ ማስመሰያ እጩዎች ለመቀየር። በተለወጠው የማስመሰያ ቅደም ተከተል እና ቀዳሚ ባህሪያት ላይ በማስተካከል፣ የባህሪ-ብቻ ረቂቅን ያበላሽ የነበረውን አሻሚነት ይቆርጣል። የእጩዎች ዛፍ በአንድ ጊዜ ይረጋገጣል; የዒላማው ሞዴል ስርጭቱ በትክክል ተጠብቆ ይቆያል ምክንያቱም ተቀባይነት ያላቸው ቶከኖች ከናሙና ወይም ከአርማክስ ምርጫው ጋር መዛመድ ስላለባቸው የፍጥነት ፍጥነቱ ኪሳራ የለውም።

ስልታዊ ተጽእኖ

ወጪ እና በጀት

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.

ግልጽ ውሳኔዎች

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።

የጥራት ቁጥጥር

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.

ከ EAGLE ጋር የግምታዊ ዲኮዲንግ የወደፊት

ግምታዊ ዲኮዲንግ እንደ vLLM እና TensorRT-LLM ያሉ ቁልልዎችን ለማቅረብ ነባሪ መሠረተ ልማት እየሆነ ነው። በባትሪ እና በKV-cache መጋራት፣ ምንም የተለየ ረቂቅ የማያስፈልጋቸው እራስን የሚነድፉ ሞዴሎች እና ትይዩ ማረጋገጫን ከሚወስድ የሃርድዌር አብሮ ዲዛይን ጋር ጥብቅ ውህደትን ይጠብቁ። EAGLE-style የባህሪ ማርቀቅ ወደ መልቲ ሞዳል እና የማመዛዘን ሞዴሎች እየተራዘመ ነው፣ ረጅም የሃሳብ ሰንሰለቶች የአንድን ቶክ ወጪዎች በተለይ የሚያሠቃዩ እና በመሣሪያ ላይ መዘግየት በጣም አስፈላጊ ወደሆኑበት።

የእውነተኛ-ዓለም አተገባበር

የውይይት ረዳቶች መዘግየትን መቁረጥ ስለዚህ ምላሾች የአምሳያው ምላሾችን ሳይቀይሩ 2-3x በፍጥነት ይለቀቃሉ

በአንድ ወደፊት ማለፊያ ተጨማሪ ቶከኖችን በማፍለቅ ከፍተኛ መጠን ላለው ኤፒአይ አቅራቢዎች የጂፒዩ አገልግሎት ወጪን መቀነስ

በጥያቄ በሺዎች የሚቆጠሩ ቶከኖች የሚዘጋጁበት ረጅም የሃሳብ ሰንሰለት-አስተሳሰብ ሞዴሎችን ማፋጠን

ሊገመቱ በሚችሉበት ጊዜ የኮድ ማጠናቀቂያ መሳሪያዎችን ማፋጠን ፣ ተደጋጋሚ የማስመሰያ ቅደም ተከተሎች ከፍተኛ ረቂቅ ተቀባይነት ደረጃዎችን ያስገኛሉ።

አደጋዎች እና የጥበቃ መንገዶች

አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።

የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.

ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።

የትግበራ ፍኖተ ካርታ

1

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።

2

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።

3

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።

4

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።

ማሰስዎን ይቀጥሉ

AI ቤንችማርኮች

ቴክኒካዊ አማራጮችን ሲያወዳድሩ ግምገማን በአግባቡ ይጠቀሙ።

መመሪያ ያንብቡ

የማጠናከሪያ ትምህርት

ወደ ቴክኒካዊ የሥልጠና ስልቶች በጥልቀት ይሂዱ።

መመሪያ ያንብቡ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Speculative Decoding with EAGLE quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ግምታዊ ዲኮዲንግ

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Speculative Decoding with EAGLE?

ግምታዊ ዲኮዲንግ ትንሽ ረቂቅ ሞዴል ብዙ ምልክቶችን ወደፊት እንዲገምት በማድረግ ትልቅ የቋንቋ ሞዴል ግንዛቤን ያፋጥናል፣ ይህም ትልቁ ሞዴል በአንድ ማለፊያ ያረጋግጣል። EAGLE ከቶከን ደረጃ ይልቅ በባህሪው ደረጃ የሚቀርፅ እጅግ በጣም ዘመናዊ የሆነ ስሪት ሲሆን ይህም ከ2-4x ፍጥነት በውጤት ጥራት ዜሮ ኪሳራ ነው።

ከግምታዊ ዲኮዲንግ በስተጀርባ ያለው ዋና ሀሳብ ምንድን ነው?

አንድ ትንሽ ንድፍ አውጪ ብዙ ምልክቶችን ወደፊት ይገምታል፣ እና ትልቁ የዒላማ ሞዴል አንድ ላይ ያረጋግጣቸዋል፣ ረጅሙን ትክክለኛ ቅድመ ቅጥያ ይቀበላል።

EAGLE ከቀደምት ግምታዊ ኮድ አወጣጥ ዘዴዎች የሚለየው እንዴት ነው?

EAGLE የታለመውን ሞዴል የተደበቁ ባህሪያት ይተነብያል እና የኤል ኤም ጭንቅላትን እንደገና ይጠቀማል፣ ይህም ከቶከን-ብቻ ዘዴዎች የበለጠ ትክክለኛ ረቂቆችን ይፈጥራል።

ለምንድነው ግምታዊ ዲኮዲንግ 'ኪሳራ የለውም' ተብሎ የሚወሰደው?

የዒላማው ሞዴል እያንዳንዱን የተነደፈ ቶከን ከራሱ ስርጭት አንጻር ስለሚፈትሽ፣ ተቀባይነት ያለው ውጤት ዒላማው ብቻውን የሚያመነጨው ነው።

የቀደመውን ማስመሰያ መክተትን መመለስ በ EAGLE ባህሪ ማርቀቅ ላይ ምን ችግር ይፈታል?

በትክክለኛው የቀደመ ማስመሰያ ላይ ኮንዲሽነር የሚቀጥለውን የተደበቀ ባህሪ ለመተንበይ አሻሚነትን ይቀንሳል, ረቂቅ ትክክለኛነትን ያሻሽላል.

EAGLE-2 ከመጀመሪያው EAGLE ላይ ምን ጨመረ?

EAGLE-2 በዐውደ-ጽሑፍ የሚታወቅ ተለዋዋጭ ረቂቅ ዛፍ አስተዋውቋል፣ ተቀባይነቱን ከፍ ለማድረግ ተስፋ ሰጪ ቅርንጫፎችን አስፍቷል።

ተዛማጅ መመሪያዎች