Nchịkọta
Interpolation Ọnọdụ (PI) bụ usoro dị mfe, nke nwere mmetụta nke na-agbatị windo ọnọdụ nke Transformer site na ịpịnye indices ọnọdụ ọhụrụ n'ime oke ihe nlereanya ahụ maralarị. Kama ịpụpụ n'ọnọdụ ndị a na-adịghị ahụ anya, ọ na-emekọrịta n'etiti ndị a zụrụ azụ, na-achọ naanị nhazi nkenke.
Interpolation Ọnọdụ maka Ogologo Ọdịnaya bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma nlereanya, ọnụ ahịa akụrụngwa, nkwụsịtụ, na ntụkwasị obi n'ọ̀tụ̀tụ̀.
Ime miri emi
Ndị nyocha Meta webatara (Chen et al.) na 2023, Interpolation Positional na-akwado eziokwu ahụ bụ na ụdị ndị nwere RoPE na-ada n'ike n'ike mgbe ha na-ebupụ n'ọkwa gafere ọzụzụ. Nghọta a na-emegiderịta onwe ya: kama ịrịọ ihe nlereanya ahụ ka ọ na-ejikwa ụkpụrụ ọnọdụ dị ukwuu ọ na-ahụtụbeghị, PI na-ekewa indices ọnọdụ na-abata site na ihe dị elu ka ogologo nke, sịnụ, 8K maapụ laghachi azụ na mbụ 2K nso. N'ihi na a zụrụ ihe nlereanya ahụ na nso nso a, ntụgharị ndị ahụ na-anọ na nkesa. Mgbe naanị 1,000 nhazi nhazi nke ọma, ihe nlereanya LLAMA gbatịpụrụ n'ụzọ a ka ejiri mee ihe ruo 32K. Akwụkwọ akụkọ ahụ gosiri extrapolation nwere ike ime ka nlebara anya n'ọtụtụ buru ibu, ebe interpolation na-eme ka ha nwee oke ma kwụsie ike, ya mere interpolation na-arụ ọrụ nke ọma karịa mgbakwunye.
Nghọta nka nka
PI rescale m ka m/s ebe s bụ ihe ndọtị (dịka ọmụmaatụ, ogologo ọhụrụ kewara site na ogologo mbụ). Maka RoPE nke a na-ebelata nke ọma ntụgharị ntụgharị n'etiti ọnọdụ ndị dị n'akụkụ, na-akwakọba ọnọdụ karịa n'ime akụkụ akụkụ a zụrụ azụ. The theoretical bounded in the papers gosiri interpolated nlebara anya akara na-anọ nke ọma na-achịkwa, ebe naive extrapolation nwere ike na-emepụta scores iwu nke ịdị ukwuu karịa ihe ọ bụla hụrụ na ọzụzụ, destabilizing softmax.
Ịmalite mmekọrịta n'ọnọdụ maka ogologo okwu
Interpolation Ọnọdụ (PI) bụ usoro dị mfe, nke nwere mmetụta nke na-agbatị windo ọnọdụ nke Transformer site na ịpịnye indices ọnọdụ ọhụrụ n'ime oke ihe nlereanya ahụ maralarị. Kama ịpụpụ n'ọnọdụ ndị a na-adịghị ahụ anya, ọ na-emekọrịta n'etiti ndị a zụrụ azụ, na-achọ naanị nhazi nkenke. Interpolation Ọnọdụ maka Ogologo Ọdịnaya bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma nlereanya, ọnụ ahịa akụrụngwa, nkwụsịtụ, na ntụkwasị obi n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, mesoo Interpolation Interpolation for Long Context dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, otu ndị siri ike na-eji Ọnọdụ Interpolation for Long Context na-ebuli ụkpụrụ ụlọ, data na akụrụngwa megide ntụkwasị obi na ọnụ ahịa. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ka ọ bụrụ ike na-adịgide adịgide gafee ngwaahịa, amụma na arụmọrụ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'otu oge ahụ, ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta Strategic
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Na-agbatị ụdị LLMA nke 2K-context iji jikwaa akara ngosi 8K-32K nwere ihe dị ka 1,000 ezigbo nhazi usoro.
Ịmegharị ụdị nkata dị adị maka nchịkọta akwụkwọ ogologo oge na-azụghachighị azụ
Na-eje ozi dị ka ntọala echiche nke NTK-maara scaling na YaRN na-emeziwanye
Na-enyere koodu ederede ogologo oge ma ọ bụ nyocha akwụkwọ iwu na ụdị ejiri windo mkpụmkpụ zụrụ nke mbụ
Usoro mmejuputa
Nkwekọrịta ọnọdụ maka ogologo okwu na omume
Na-agbatị ụdị LLMA nke 2K-context iji jikwaa akara ngosi 8K-32K nwere ihe dị ka 1,000 ezigbo nhazi usoro.
Ịgbatị ihe atụ 2K-context LLMA iji jikwaa akara ngosi 8K-32K nwere ihe dị ka 1,000 nhazi nhazi nke ọma Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ na-ebuwanye ibu maka ikpe ikpe, ma soro ma uru arụpụtaghị ihe na ụgwọ njehie na oge.
Nkwekọrịta ọnọdụ maka ogologo okwu na omume
Ịmegharị ụdị nkata dị adị maka nchịkọta akwụkwọ ogologo oge na-azụghachighị azụ.
Ịmeghari ụdị nkata dị ugbu a maka nchịkọta akwụkwọ ogologo oge na-enweghị ịmaliteghachi site na ncha otu ìgwè na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Nkwekọrịta ọnọdụ maka ogologo okwu na omume
Na-eje ozi dị ka ntọala echiche nke NTK-maara scaling na YaRN na-emeziwanye.
Ije ozi dị ka usoro echiche nke NTK-maara scaling na YaRN na-akawanye mma na otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Nkwekọrịta ọnọdụ maka ogologo okwu na omume
Na-enyere koodu ederede ogologo oge ma ọ bụ nyocha akwụkwọ iwu na ụdị ejiri windo mkpụmkpụ zụrụ nke mbụ.
Ịkwado koodu ogologo oge ma ọ bụ nyocha akwụkwọ iwu na ụdị ndị a zụrụ azụ na obere windo Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Benchmark n'okpuru ibu dị adị na ọnọdụ data. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.