Uamuzi wa Kukisia Ukitumia EAGLE
Usimbuaji wa kubahatisha huharakisha uelekezaji wa modeli kubwa ya lugha kwa kuruhusu muundo mdogo wa rasimu ubashiri tokeni kadhaa mbele, ambazo muundo mkubwa kisha huthibitisha kwa njia moja.
Muhtasari
EAGLE is a state-of-the-art version that drafts at the feature level rather than the token level, delivering 2-4x speedups with zero loss in output quality.
Dive ya kina
Kizazi cha kawaida cha LLM ni cha kujitegemea: mfano hutoa ishara moja, hulisha nyuma, na kurudia, hivyo kila ishara inahitaji kupita kamili mbele kupitia mabilioni ya vigezo. Usimbuaji wa kubahatisha huvunja kizuizi hiki. Rasimu ya bei nafuu inapendekeza sehemu ya tokeni za waombaji, na muundo unaolengwa wa bei ghali huthibitisha zote kwa pasi moja sambamba, ikikubali kiambishi awali sahihi zaidi. EAGLE (Algorithm ya Nyongeza kwa Ufanisi Kubwa wa Muundo wa Lugha) huboresha mbinu za awali kwa kuandika katika nafasi ya kipengele fiche ya muundo na kurudisha upachikaji wa kweli wa tokeni iliyotangulia ili kupunguza kutokuwa na uhakika. EAGLE-2 huongeza rasimu inayobadilika, na EAGLE-3 hudondosha kikwazo cha utabiri wa kipengele ili kuwa bora zaidi. Kimsingi, uthibitishaji unahakikisha kuwa matokeo yanafanana na yale ambayo mtindo unaolengwa ungetoa peke yake.
Ufahamu wa Kiufundi
EAGLE hufunza kichwa kidogo kiotomatiki ambacho hutabiri kipengele kinachofuata cha hali fiche cha muundo lengwa, kisha hutumia tena kichwa cha LM cha anayelengwa ili kugeuza vipengele kuwa viashiria vya tokeni. Kwa kuweka mpangilio wa tokeni iliyobadilishwa pamoja na vipengele vya awali, inapunguza utata ambao ulikumba uandishi wa vipengele pekee. Mti wa wagombea unathibitishwa mara moja; usambazaji wa kielelezo lengwa huhifadhiwa haswa kwa sababu tokeni zinazokubalika lazima zilingane na chaguo lake la sampuli au argmax, na kufanya uongezaji kasi bila hasara.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Kusimbua kwa Kukisia na EAGLE
Usimbuaji wa kubahatisha unakuwa miundombinu chaguomsingi katika kuhudumia rafu kama vile vLLM na TensorRT-LLM. Tarajia muunganisho mgumu zaidi na ushiriki wa batch na akiba ya KV, miundo ya kujitayarisha ambayo haihitaji rasimu tofauti, na muundo wa maunzi ambao huchukua uthibitishaji sambamba. Uandishi wa vipengele vya mtindo wa EAGLE unapanuliwa kwa miundo mingi na ya kusababu, ambapo misururu mirefu ya mawazo hufanya gharama ya kila ishara kuwa chungu sana, na kwa makisio ya kifaa ambapo muda wa kusubiri ni muhimu zaidi.
Utekelezaji wa Ulimwengu Halisi
Kupunguza muda wa kusubiri katika visaidizi vya gumzo ili majibu yatiririke mara 2-3 haraka bila kubadilisha majibu ya modeli
Kupunguza gharama za utoaji wa GPU kwa watoa huduma wa API za kiwango cha juu kwa kutoa tokeni zaidi kwa kila pasi ya mbele
Kuongeza kasi ya mifano mirefu ya mawazo ambapo maelfu ya tokeni hutolewa kwa kila hoja
Kuongeza kasi ya zana za kukamilisha msimbo ambapo ufuataji wa tokeni unaotabirika, unaojirudiarudia hutoa viwango vya juu vya kukubalika.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Speculative Decoding with EAGLE quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Usimbuaji wa Kubahatisha
Maswali yanayoulizwa mara kwa mara
What is Speculative Decoding with EAGLE?
Usimbuaji wa kubahatisha huharakisha uelekezaji wa modeli kubwa ya lugha kwa kuruhusu muundo mdogo wa rasimu ubashiri tokeni kadhaa mbele, ambazo muundo mkubwa kisha huthibitisha kwa njia moja. EAGLE ni toleo la kisasa ambalo linarasimu katika kiwango cha vipengele badala ya kiwango cha tokeni, likitoa kasi za 2-4x na kupoteza sifuri katika ubora wa kutoa.
Je, ni wazo gani kuu nyuma ya usimbuaji wa kubahatisha?
Mtayarishaji mdogo anakisia tokeni kadhaa mbele, na muundo mkuu lengwa huzithibitisha kwa pamoja, na kukubali kiambishi awali sahihi zaidi.
Je, EAGLE inatofautiana vipi na mbinu za awali za kubahatisha za kusimbua?
EAGLE hutabiri vipengele fiche vya muundo lengwa na kutumia tena kichwa chake cha LM, ambacho hutoa rasimu sahihi zaidi kuliko mbinu za tokeni pekee.
Kwa nini usimbuaji wa kubahatisha unachukuliwa kuwa 'bila hasara'?
Kwa sababu muundo unaolengwa hukagua kila tokeni iliyoandaliwa dhidi ya usambazaji wake, matokeo yanayokubalika ndiyo hasa lengo lingezalisha peke yake.
Je, ni tatizo gani katika uandishi wa kipengele cha EAGLE ambacho kulisha upachikaji wa tokeni iliyopita kunasaidia kutatua?
Kuweka kwenye tokeni halisi ya awali hupunguza utata wa kutabiri kipengele kinachofuata kilichofichwa, kuboresha usahihi wa rasimu.
EAGLE-2 iliongeza nini juu ya EAGLE asili?
EAGLE-2 ilianzisha mti wa rasimu unaofahamu muktadha, ikipanua matawi yanayotoa matumaini ili kuongeza kiwango cha kukubalika.