Nchịkọta
YaRN (Ma ọzọ RoPE extension) bụ usoro na-agbatị windo ọnọdụ ihe ntụgharị ihe karịrị nke a zụrụ ya, na-enwe obere nlegharị anya. Ọ dị mkpa n'ihi na ọ na-ahapụ ụdị ndị dị ugbu a ijikwa dọkụmentị dị ogologo karịa na-azụghachighị azụ.
YaRN Context Window Scaling bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
Ọtụtụ LLM nke ọgbara ọhụrụ na-edobe ọnọdụ okwu site na iji Rotary Position Embeddings (RoPE), nke na-arụ ọrụ nke ọma naanị ruo ogologo ihe nlereanya ahụ hụrụ n'oge ọzụzụ. Na-eri nri n'usoro ogologo na ihe nlereanya ahụ na-eweda nke ọma. YaRN na-edozi nke a site n'ịweghachi ugboro ugboro ntụgharị RoPE n'ụzọ mara mma: akụkụ dị elu (nke na-ejide mpaghara, mmekọrịta dị nso) na-emekarị ka ọ ghara imetụ ya aka, ebe akụkụ dị ala (nke na-ejide ọnọdụ ogologo oge) na-ejikọta ya. Ọ na-agbakwụnye mgbanwe mgbanwe okpomọkụ na nlebara anya iji mee ka logits na-akpa àgwà ọma n'ogologo. Nsonaazụ, nke egosipụtara na ụdị LLAMA, gbatịrị okirikiri site na 4K ruo 64K-128K tokens na-eji naanị ihe dịka 0.1% nke data ọzụzụ izizi yana narị ole na ole nlegharị anya usoro.
Nghọta nka nka
RoPE na-atụgharị ajụjụ na vectors igodo site n'akụkụ nhata na ọnọdụ yana ugboro otu akụkụ. Interpolation naive linear (Position Interpolation) na-akụda ugboro niile n'otu aka ahụ, na-emebi nkọwa mpaghara. YaRN na-etinye aka na 'NTK-by-parts': ọ na-ejikọta naanị akụkụ dị ala (ogologo ogologo ogologo), na-ahapụ naanị ndị na-adị elu ma na-agbago n'etiti ha. Nleba anya okpomọkụ na-akwụ ụgwọ maka mgbanwe entropy, na-echekwa izi ezi na ogologo ogologo.
Ịmalite ihie ihe dị n'ime YaRN
YaRN (Ma ọzọ RoPE extension) bụ usoro na-agbatị windo ọnọdụ ihe ntụgharị ihe karịrị nke a zụrụ ya, na-enwe obere nlegharị anya. Ọ dị mkpa n'ihi na ọ na-ahapụ ụdị ndị dị ugbu a ijikwa dọkụmentị dị ogologo karịa na-azụghachighị azụ. YaRN Context Window Scaling bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, na-emeso YaRN Context Window Scaling dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji YaRN Context Window Scaling imewe na-akpali, iweghachi, na nyocha loops dị ka otu usoro nkwurịta okwu agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ka ọ bụrụ ike na-adịgide adịgide gafee ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta Strategic
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Otu dị iche iche nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Otu dị iche iche nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Na-agbatị ihe ngosi LLAMA mepere emepe site na 4K ruo akara ngosi 128K ka ọ nwee ike itinye koodubase ma ọ bụ nkwekọrịta ogologo n'otu ngafe.
Ikwe ka onye nkata nkata na-ejigide akụkọ mkparịta ụka ogologo oge na-ewepụghị ntụgharị mbụ
Na-achịkọta akwụkwọ ndị nwere ogologo akwụkwọ ma ọ bụ ndegharị ọtụtụ awa gafere mpio ala nke ihe nlereanya ahụ.
Na-adị ọnụ ala na-emegharị ihe atụ a zụrụ azụ maka ọrụ iweghachite ọnọdụ ogologo oge na-eji naanị obere nlegharị anya.
Usoro mmejuputa
YaRN Onodu Onodu scaling na omume
Na-agbatị ụdị LLAMA mepere emepe site na 4K ruo 128K token ka ọ nwee ike itinye koodubase ma ọ bụ nkwekọrịta ogologo n'otu ngafe.
Ịgbatị ihe ngosi LLMA mepere emepe site na 4K ruo 128K tokens ka o wee nwee ike itinye koodu codebase ma ọ bụ ogologo nkwekọrịta n'otu ngafe Otu ndị na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
YaRN Onodu Onodu scaling na omume
Ikwe ka onye nkata nkata na-ejigide akụkọ mkparịta ụka ogologo oge na-ewepụghị ntụgharị mbụ.
Ikwe ka chatbot na-ejigide akụkọ mkparịta ụka ogologo oge n'ebughị ụzọ tụgharịa, Otu dị iche iche na-enwetakwa nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie n'oge.
YaRN Onodu Onodu scaling na omume
Na-achịkọta akwụkwọ ndị nwere ogologo akwụkwọ ma ọ bụ ndegharị nke ọtụtụ awa gafere mpio ala nke ihe nlereanya.
Ịchịkọta akwụkwọ ogologo akwụkwọ ma ọ bụ ndegharị nke ọtụtụ awa gafere na windo ala nke ihe nlereanya, otu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
YaRN Onodu Onodu scaling na omume
N'iji ọnụ ala na-emegharị ihe atụ a zụrụ azụ maka ọrụ iweghachite ogologo oge na-eji naanị obere nlegharị anya nke ọma.
N'iji ọnụ ala na-emegharị ihe atụ a zụrụ azụ maka ọrụ iweghachite ogologo oge site na iji naanị obere nhazi nhazi nke ọma Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.