HAGAHA Farsamada
Go'aaminta mala awaalka ah ee EAGLE
Go'aaminta male-awaalka ah waxay dedejisaa muujinta tusaalaha luqadda weyn iyadoo u oggolaanaysa qaab qabyo ah oo yar inuu qiyaaso calaamado dhowr ah oo soo socda, kaas oo qaabka weyni markaas ku xaqiijiyo hal baas.
Dhageyso hagahanAI-waa laga sheekeeyay · ~2 min
Boggaan2 daqiiqo akhri
Dulmar
EAGLE is a state-of-the-art version that drafts at the feature level rather than the token level, delivering 2-4x speedups with zero loss in output quality.
quusid qoto dheer
Jiilka caadiga ah ee LLM waa autoregressive: qaabku wuxuu soo saaraa hal calaamad, dib u quudiya, oo soo noqnoqda, markaa calaamad kasta waxay u baahan tahay horudhac buuxda oo balaayiin ah oo cabbir ah. Go'aaminta male-awaalka ah waxay jebisay dhaliddan. Qore raqiis ah waxa uu soo jeedinayaa qayb ka mid ah calaamadaha musharraxiinta, iyo qaabka bartilmaameedka qaaliga ah ayaa dhamaantood ku xaqiijiya hal baas oo barbar socda, isaga oo aqbalaya horgalaha ugu dheer ee saxda ah. EAGLE (Algorithm Extrapolation for Greater Language-Model Hufnaanta) waxa ay horumarisaa habab hore iyada oo la diyaarinayo qaabka qarsoon ee booska iyo dib u soo celinta calaamadii hore ee gundhigga dhabta ah si loo yareeyo hubanti la'aanta. EAGLE-2 waxa uu ku darayaa geed qabyo ah oo firfircoon, EAGLE-3-na waxa uu hoos u dhigayaa xaddidaadda saadaalinta si loo cabbiro si ka sii wanaagsan. Muhiimad ahaan, xaqiijintu waxay dammaanad qaadaysaa wax-soo-saarku inuu la mid yahay waxa qaabka la beegsanayo uu keligii soo saari lahaa.
Dhaqangelinta Adduunka-dhabta ah
Goynta daahitaanka kaaliyeyaasha wada sheekaysiga si jawaabaha ay u qulqulaan 2-3x si dhakhso leh iyada oo aan la beddelin jawaabaha moodeelka
Hoos u dhigida kharashka u adeegida GPU ee bixiyayaasha API-ga mugga sare leh iyadoo la dhalinayo calaamado badan baas horeba
Dardar gelinta moodooyinka fekerka-dheer ee silsiladda-fekerka halkaas oo kumannaan calaamadood laga soo saaro weydiimo kasta
Dadajinta qalabyada dhamaystirka koodka halka la saadaalin karo, taxanaha calaamadaha soo noqnoqda ayaa keena heerar sare oo qabyo ah
Mustaqbalka Go'aaminta Malaha EAGLE
Go'aaminta mala awaalka ah ayaa noqonaysa kaabayaasha aasaasiga ah ee u adeegida xirmooyinka sida vLLM iyo TensorRT-LLM. Filo is dhexgal adag oo la wadaago kaydinta iyo KV-cache, moodello is-qorid ah oo aan u baahnayn qore gaar ah, iyo qalab-nakhshad qalabaysan oo u qaadanaya xaqiijinta barbar socota. Qoritaanka qaabka EAGLE waxa lagu fidiyay qaabab badan iyo moodooyin caqli-gal ah, halkaas oo silsiladaha fekerka dheer ay ka dhigaan kharashyada calaamad kasta gaar ahaan xanuun badan, iyo ka-qaybgalka qalabka halka ugu muhiimsan ee daahitaanka.
Ku dhaqangelinta
Maxay muhiim u tahay
- Qiimaha iyo miisaaniyada. Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
- Go'aamo cad. Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
- Xakamaynta tayada. Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Iska ilaali
- Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
- Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
- Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Tallaabooyinka xiga
- Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
- Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
- La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
- U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the Speculative Decoding with EAGLE quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
What is Speculative Decoding with EAGLE?
Go'aaminta male-awaalka ah waxay dedejisaa muujinta tusaalaha luqadda weyn iyadoo u oggolaanaysa qaab qabyo ah oo yar inuu qiyaaso calaamado dhowr ah oo soo socda, kaas oo qaabka weyni markaas ku xaqiijiyo hal baas. EAGLE waa nooc-farshaxan oo casri ah kaas oo qaabeeya heerka muuqaalka halkii uu ka ahaan lahaa heerka calaamada, isaga oo keenaya 2-4x xawli ku socda iyada oo ay eber lumin tayada wax soo saarka.
Waa maxay fikradda udub-dhexaadka ah ee ka dambeysa dejinta malo-awaalka?
Qoryaha yar waxa uu qiyaasaa dhawr calaamad oo hor leh, iyo qaabka bartilmaameedka weyni iyaga ayaa wada xaqiijinaya, isaga oo aqbalaya horgalaha ugu saxsan.
Sidee ayuu EAGLE kaga duwan yahay hababkii hore ee codaynta?
EAGLE waxa uu saadaaliyaa qaabka dahsoon ee qaabka bartilmaameedka ah oo dib u isticmaalo madaxiisa LM, kaas oo soo saara qabyo sax ah oo ka badan hababka calaamad-kaliya.
Why is speculative decoding considered lossless when implemented with exact verification?
Exact speculative sampling preserves the target distribution; this does not mean every random run must emit the same token sequence under different random draws.
Dhibaato noocee ah ayaa ka jirta qaabaynta sifada EAGLE oo dib u soo celinta calaamadii hore ee ku-xidhiddisa ay caawiso?
Ku xirida calaamadii hore ee dhabta ah waxay yaraynaysaa madmadowga saadaalinta muuqaalka qarsoon ee soo socda, hagaajinta saxnaanta qabyada.
Muxuu EAGLE-2 ku soo kordhiyay EAGLE-kii asalka ahaa?
EAGLE-2 waxa uu soo bandhigay geed qabyo ah oo firfircoon oo xog-ogaal u ah, isaga oo ballaarinaya laamaha ballan-qaadka ah si kor loogu qaado heerka aqbalaadda.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan