Nchịkọta
Ndozi nhụsianya na-eme ka ntụnye ụdị asụsụ buru ibu dị ngwa site n'ikwe ka obere ihe ngosi mara ọtụtụ akara n'ihu, nke nnukwu ihe nlereanya ahụ na-enyocha n'otu ngafe. EAGLE bụ ụdị ọgbara ọhụrụ nke na-edepụta na ọkwa njirimara karịa ọkwa akara, na-ebuga ọsọ ọsọ 2-4x na enweghị efu na mmepụta mmepụta.
Ndozi nleba anya na EAGLE bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma ụdị, ọnụ ahịa akụrụngwa, nkwụsịtụ, na ntụkwasị obi n'ọ̀tụ̀tụ̀.
Ime miri emi
Ọgbọ LLM nkịtị bụ autoregressive: ihe nlereanya ahụ na-emepụta otu token, na-azụ ya, ma na-emegharị ya, yabụ akara ngosi ọ bụla chọrọ ịgafe n'ihu n'ụzọ zuru ezu site na ijeri paramita. Ndozi nhụsianya na-agbaji ọkpọ a. Onye na-edepụta ihe dị ọnụ ala na-atụpụta ọnụ ọgụgụ nke akara akwụkwọ anamachọihe, na ụdị ebumnuche dị oke ọnụ na-enyocha ha niile n'otu ngafe yiri ya, na-anabata prefix ziri ezi kacha ogologo. EAGLE (Extrapolation Algorithm for Greater Language-Model Efficiency) na-akawanye mma na ụzọ ndị mbụ site n'ịdepụta oghere njiri mara ihe nlereanya ahụ na iweghachite ezi ntinye akara nke gara aga iji belata ejighị n'aka. EAGLE-2 na-agbakwụnye osisi dị ike, na EAGLE-3 na-atụba mmachi amụma-mmetụta ka ọ dịkwuo mma. N'ụzọ dị mkpa, nkwenye na-ekwe nkwa na mmepụta ahụ bụ otu ihe nlereanya a ga-emepụta naanị ya.
Nghọta nka nka
EAGLE na-azụ obere isi na-agba ọsọ nke na-ebu amụma ihe atụ nzuzo ga-esote ọnọdụ steeti, wee jiri isi LM nke ebumnuche ya tụgharịa atụmatụ ka ọ bụrụ ndị na-eme ntuli aka. Site n'ịkwado n'usoro akara ngbanwe gbakwunyere atụmatụ ndị bu ụzọ, ọ na-ebelata ihe mgbagwoju anya nke butere naanị atụmatụ. A na-enyocha osisi ndị na-eme ntuli aka ozugbo; A na-echekwa nkesa nke ihe atụ ahụ kpọmkwem n'ihi na akara ngosi anabatara ga-adabarịrị na nhọrọ ya nke sampled ma ọ bụ argmax, na-eme ka ọsọ ọsọ na-efunahụ ya.
Iji EAGLE na-eme nchọpụta nlebara anya
Ndozi nhụsianya na-eme ka ntụnye ụdị asụsụ buru ibu dị ngwa site n'ikwe ka obere ihe ngosi mara ọtụtụ akara n'ihu, nke nnukwu ihe nlereanya ahụ na-enyocha n'otu ngafe. EAGLE bụ ụdị ọgbara ọhụrụ nke na-edepụta na ọkwa njirimara karịa ọkwa akara, na-ebuga ọsọ ọsọ 2-4x na enweghị efu na mmepụta mmepụta. Ndozi nleba anya na EAGLE bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma ụdị, ọnụ ahịa akụrụngwa, nkwụsịtụ, na ntụkwasị obi n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, were EAGLE decoding Speculative dị ka ihe eji arụ ọrụ, ọ bụghị otu njirimara: kọwapụta nsonaazụ achọrọ, dokwuo anya echiche, wee kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, otu ndị siri ike na-eji Ndozi Nkọwapụta na EAGLE na-ebuli ụkpụrụ ụlọ, data na akụrụngwa megide ntụkwasị obi na ọnụ ahịa. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'otu oge ahụ, ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Mbelata latency na ndị enyemaka nkata ka nzaghachi na-asọfe 2-3x ọsọ ọsọ na-agbanweghị azịza ihe nlereanya.
Mbelata ụgwọ ọrụ GPU maka ndị na-eweta API dị elu site n'ịwepụta ọtụtụ token kwa ngafe n'ihu
Ụdị echiche echiche na-eme ngwa ngwa ebe a na-emepụta puku kwuru puku token n'otu ajụjụ
Ịmelite ngwa ọrụ mmecha koodu ebe enwere ike ịkọ amụma, usoro akara ugboro ugboro na-enye ọnụego nnabata dị elu.
Usoro mmejuputa
Ndozi nkọwa na EAGLE na omume
Mbelata nkwụsị na ndị enyemaka nkata ka nzaghachi na-asọfe 2-3x ọsọ ọsọ na-agbanweghị azịza ihe nlereanya ahụ.
Mbelata latency na ndị na-enyere aka mkparịta ụka ka nzaghachi na-asọfe 2-3x ngwa ngwa na-enweghị ịgbanwe azịza nke ihe nlereanya Otu dị iche iche na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-echekwa ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
Ndozi nkọwa na EAGLE na omume
Mbelata ụgwọ ọrụ GPU maka ndị na-eweta API dị elu site n'ịwepụta ọtụtụ token kwa ngafe n'ihu.
Mbelata GPU na-akwụ ụgwọ maka ndị na-enye API dị elu site n'ịmepụta ọtụtụ tokens kwa ngafe na-aga n'ihu Otu na-enwetakarị nsonaazụ ka mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, na-echekwa ụzọ ịrị elu mmadụ maka ikpe ihu, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Ndozi nkọwa na EAGLE na omume
Ụdị echiche echiche na-eme ngwa ngwa ebe a na-emepụta puku kwuru puku token n'otu ajụjụ.
Ịmepụta ụdị echiche echiche ogologo ogologo ebe a na-emepụta puku kwuru puku token n'otu ajụjụ Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Ndozi nkọwa na EAGLE na omume
Ịmelite ngwa ọrụ mmecha koodu ebe enwere ike ịkọ amụma, usoro akara ugboro ugboro na-enye ọnụego nnabata dị elu.
Ngwa ngwa mmecha koodu ebe enwere ike ịkọ amụma, usoro akara ugboro ugboro na-enye ọnụego nnabata dị elu Otu dị iche iche na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edobe ụzọ ịrị elu mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Benchmark n'okpuru ibu dị adị na ọnọdụ data. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.