Nchịkọta
Ndozi anya na-agba ọsọ ọsọ ọgbọ LLM na-enweghị ụdị ọ bụla ọzọ site na ịkọ nkọ na nyochaa ọtụtụ akara ngosi n'ọdịnihu n'otu aka ahụ site na iji n-gram nke ihe nlereanya ahụ na-ebute na ofufe. Ọ na-agbaji otu ihe nrịbama-n'otu oge siri ike.
Lookhead Decoding bụ akụkụ nke asụsụ-AI tojupụtara eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
Ndị nyocha webatara na UC Berkeley na 2023, nhọpụta anya isi na-eme ka ntinye aka na-eji naanị ihe atụ ebumnuche n'onwe ya - enweghị ụdị nke abụọ yana enweghị ọzụzụ inyeaka. Ọ na-emezi ọgbọ ka ọ na-edozi usoro nha anya na-abụghị nke ntanetị site na iji usoro yiri nke a na-akpọ Jacobi iteration. Na nzọụkwụ nke ọ bụla ihe nlereanya ahụ na-agba alaka abụọ n'otu oge: alaka 'lookahead' nke na-emezi atụmatụ maka ọtụtụ ọnọdụ token n'ọdịnihu n'otu aka ahụ, yana alaka 'nkwenye' nke na-enyocha n-gram na-ekwe nkwa multi-token anakọtara na ọdọ mmiri. N-gram egosipụtara nke ihe nlereanya ahụ kwenyere na a na-eme ihe niile n'otu oge, yabụ enwere ike ịnakwere ọtụtụ akara n'otu nzọụkwụ. N'ihi na ọ na-adabere naanị na ngafe n'ihu nke ihe nlereanya ahụ, mmepụta na-anọgide kpọmkwem ihe anyaukwu ma ọ bụ ihe ngbanwe ga-emepụta, na-ebelata ọnụ ọgụgụ usoro usoro achọrọ.
Nghọta nka nka
Echiche bụ isi na-agbaziri Jacobi/Gauss-Seidel nrụtụ-aka a kapịrị ọnụ: a na-ahụta nhọpụta autoregressive dị ka ịchọta ebe edobere nke eserese ngosi ihe nlegharị anya n'elu windo nke akara ngosi n'ọdịnihu. A na-anụcha atụmatụ ndị yiri ya, na ọdọ mmiri n-gram na-echekwa usoro akara ngosi pụtara n'oge mmeghari ndị a. Nkwenye na-akwado ma n-gram ọ bụla nke echekwara dabara na ezi mpụta na-esote ihe nlereanya ahụ, na-ahapụ ọtụtụ token ịga n'ihu n'otu ngafe na-enweghị netwọkụ dị iche.
Ịmepụta Nchọpụta Nchọpụta Nchọpụta
Ndozi anya na-agba ọsọ ọsọ ọgbọ LLM na-enweghị ụdị ọ bụla ọzọ site na ịkọ nkọ na nyochaa ọtụtụ akara ngosi n'ọdịnihu n'otu aka ahụ site na iji n-gram nke ihe nlereanya ahụ na-ebute na ofufe. Ọ na-agbaji otu ihe nrịbama-n'otu oge siri ike. Lookhead Decoding bụ akụkụ nke asụsụ-AI tojupụtara eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, mesoo Lookhead Decoding dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwapụta nsonaazụ achọrọ, dokwuo anya echiche, wee kewaa ihe sistemụ ahụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji Lookahead Decoding imewe na-akpali, iweghachi, na nyocha loops dị ka otu usoro nkwurịta okwu agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Ịkwado ihe ngosi mepere emepe dị ka Llama ma ọ bụ Vicuna na-eji nwayọ nwayọ na-enweghị ọzụzụ ma ọ bụ na-ebunye ụdị ihe enyemaka ọ bụla.
Mbelata ọnụ ọgụgụ nke usoro ngbanwe usoro maka ọgbọ dị ogologo dị ka edemede ma ọ bụ koodu, ebe flops bara ụba mana nzọụkwụ bụ ihe mgbochi.
Ntinye n'ime ọba akwụkwọ ntinye aka (mwepụta mbụ butere mmejuputa FlashAttention dakọtara) iji kwalite mmepụta na GPU ndị dị adị.
Na-eme ka ozi ngwa ngwa na ngwaike ejighị ya rụọ ọrụ site n'ịzụ ahịa myirịta agbakwunyere maka ngafe usoro dị ole na ole.
Usoro mmejuputa
Lelee isi ngbanwe na omume
Ịkwado ihe ngosi mepere emepe dị ka Llama ma ọ bụ Vicuna na-eji nwayọ nwayọ na-enweghị ọzụzụ ma ọ bụ na-ebunye ụdị ihe enyemaka ọ bụla.
Ịkwado onwe onye ihe ngosi mepere emepe dị ka Llama ma ọ bụ Vicuna na nkwụsị ngwa ngwa na-enweghị ọzụzụ ma ọ bụ na-ebunye ihe ngosi inyeaka ọ bụla Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Lelee isi ngbanwe na omume
Mbelata ọnụ ọgụgụ nke usoro ngbanwe usoro maka ọgbọ dị ogologo dị ka edemede ma ọ bụ koodu, ebe flops bara ụba mana nzọụkwụ bụ ihe mgbochi.
Mbelata ọnụ ọgụgụ nke usoro ngbanwe usoro maka ọgbọ dị ogologo dị ka edemede ma ọ bụ koodu, ebe flops bara ụba mana usoro ndị otu egwuregwu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka oke ikpe, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
Lelee isi ngbanwe na omume
Ntinye n'ime ọba akwụkwọ ntinye aka (mwepụta mbụ butere mmejuputa FlashAttention dakọtara) iji kwalite mmepụta na GPU ndị dị adị.
Ntinye n'ime ọba akwụkwọ inference (mwepụta mbụ bugoro mmejuputa FlashAttention-dakọtara) iji kwalite mmepụta na ndị otu GPU dị adị na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Lelee isi ngbanwe na omume
Na-eme ka ozi ngwa ngwa na ngwaike ejighị ya rụọ ọrụ site n'ịzụ ahịa myirịta agbakwunyere maka ngafe usoro dị ole na ole.
Ịme ngwa ngwa na-eje ozi na ngwaike a na-ejighị n'aka site na ịzụ ahịa mgbakwunye yiri ya maka obere usoro ihe nfefe otu dị iche iche na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.