InayofuataMwongozo unaofuata
Usimbuaji wa Kubahatisha
Kiufundi
MWONGOZO wa Kiufundi
Uamuzi wa Kukisia Ukitumia EAGLE
Usimbuaji wa kubahatisha huharakisha uelekezaji wa modeli kubwa ya lugha kwa kuruhusu muundo mdogo wa rasimu ubashiri tokeni kadhaa mbele, ambazo muundo mkubwa kisha huthibitisha kwa njia moja.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
EAGLE ni toleo la kisasa ambalo linarasimu katika kiwango cha vipengele badala ya kiwango cha tokeni, likitoa kasi za 2-4x na hasara ya sifuri katika ubora wa kutoa.
Dive ya kina
Kizazi cha kawaida cha LLM ni cha kujitegemea: mfano hutoa ishara moja, hulisha nyuma, na kurudia, hivyo kila ishara inahitaji kupita kamili mbele kupitia mabilioni ya vigezo. Usimbuaji wa kubahatisha huvunja kizuizi hiki. Rasimu ya bei nafuu inapendekeza sehemu ya tokeni za waombaji, na muundo unaolengwa wa bei ghali huthibitisha zote kwa pasi moja sambamba, ikikubali kiambishi awali sahihi zaidi. EAGLE (Algorithm ya Nyongeza kwa Ufanisi Kubwa wa Muundo wa Lugha) huboresha mbinu za awali kwa kuandika katika nafasi ya kipengele fiche ya muundo na kurudisha upachikaji wa kweli wa tokeni iliyotangulia ili kupunguza kutokuwa na uhakika. EAGLE-2 huongeza rasimu inayobadilika, na EAGLE-3 hudondosha kikwazo cha utabiri wa kipengele ili kuwa bora zaidi. Kimsingi, uthibitishaji unahakikisha kuwa matokeo yanafanana na yale ambayo mtindo unaolengwa ungetoa peke yake.
Utekelezaji wa Ulimwengu Halisi
Kupunguza muda wa kusubiri katika visaidizi vya gumzo ili majibu yatiririke mara 2-3 haraka bila kubadilisha majibu ya modeli
Kupunguza gharama za utoaji wa GPU kwa watoa huduma wa API za kiwango cha juu kwa kutoa tokeni zaidi kwa kila pasi ya mbele
Kuongeza kasi ya mifano mirefu ya mawazo ambapo maelfu ya tokeni hutolewa kwa kila hoja
Kuongeza kasi ya zana za kukamilisha msimbo ambapo ufuataji wa tokeni unaotabirika, unaojirudiarudia hutoa viwango vya juu vya kukubalika.
Mustakabali wa Kusimbua kwa Kukisia na EAGLE
Usimbuaji wa kubahatisha unakuwa miundombinu chaguomsingi katika kuhudumia rafu kama vile vLLM na TensorRT-LLM. Tarajia muunganisho mgumu zaidi na ushiriki wa batch na akiba ya KV, miundo ya kujitayarisha ambayo haihitaji rasimu tofauti, na muundo wa maunzi ambao huchukua uthibitishaji sambamba. Uandishi wa vipengele vya mtindo wa EAGLE unapanuliwa kwa miundo mingi na ya kusababu, ambapo misururu mirefu ya mawazo hufanya gharama ya kila ishara kuwa chungu sana, na kwa makisio ya kifaa ambapo muda wa kusubiri ni muhimu zaidi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Speculative Decoding with EAGLE quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Je! Uamuzi wa Kukisia na EAGLE ni nini?
Usimbuaji wa kubahatisha huharakisha uelekezaji wa modeli kubwa ya lugha kwa kuruhusu muundo mdogo wa rasimu ubashiri tokeni kadhaa mbele, ambazo muundo mkubwa kisha huthibitisha kwa njia moja. EAGLE ni toleo la kisasa ambalo linarasimu katika kiwango cha vipengele badala ya kiwango cha tokeni, likitoa kasi za 2-4x na kupoteza sifuri katika ubora wa kutoa.
Je, ni wazo gani kuu nyuma ya usimbuaji wa kubahatisha?
Mtayarishaji mdogo anakisia tokeni kadhaa mbele, na muundo mkuu lengwa huzithibitisha kwa pamoja, na kukubali kiambishi awali sahihi zaidi.
Je, EAGLE inatofautiana vipi na mbinu za awali za kubahatisha za kusimbua?
EAGLE hutabiri vipengele fiche vya muundo lengwa na kutumia tena kichwa chake cha LM, ambacho hutoa rasimu sahihi zaidi kuliko mbinu za tokeni pekee.
Why is speculative decoding considered lossless when implemented with exact verification?
Exact speculative sampling preserves the target distribution; this does not mean every random run must emit the same token sequence under different random draws.
Je, ni tatizo gani katika uandishi wa kipengele cha EAGLE ambacho kulisha upachikaji wa tokeni iliyopita kunasaidia kutatua?
Kuweka kwenye tokeni halisi ya awali hupunguza utata wa kutabiri kipengele kinachofuata kilichofichwa, kuboresha usahihi wa rasimu.
EAGLE-2 iliongeza nini juu ya EAGLE asili?
EAGLE-2 ilianzisha mti wa rasimu unaofahamu muktadha, ikipanua matawi yanayotoa matumaini ili kuongeza kiwango cha kukubalika.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii