Nchịkọta
Rotary Position Embeddings (RoPE) na-etinye koodu ebe akara ngosi nke ọ bụla na-anọdụ n'usoro site n'ịtụgharị ajụjụ ya na vectors isi n'otu akụkụ dabara na ọnọdụ. Aghụghọ a mara mma na-eme ka ndị na-agbanwe agbanwe ghọta ebe dị anya ma gbasaa nke ọma ruo ogologo ọnọdụ.
Mgbakwunye ọnọdụ Rotary bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
Ndị na-agbanwe agbanwe enweghị echiche arụnyere n'usoro, yabụ ha chọrọ ozi ọnọdụ agbakwunyere n'ụzọ ụfọdụ. Ụdị ndị mbụ gbakwunyere vector sinusoidal etinyere ma ọ bụ ntinye ọnọdụ mmụta na ntinye. RoPE, nke Su na ndị ọrụ ibe ha tụpụtara na 2021, na-ewe ụzọ dị iche: kama ịgbakwunye vector ọnọdụ, ọ na-atụgharị akụkụ abụọ nke akụkụ na ajụjụ yana vectors isi site n'akụkụ na-etolite n'ọnọdụ akara ngosi. Mgbe ihe nlereanya na-agbakọ ngwaahịa ntụpọ n'etiti ajụjụ na ọnọdụ m na igodo n'ọnọdụ n, mgbakọ na mwepụ na-arụ ọrụ ya mere nsonaazụ ya dabere naanị n'ebe dị anya ha m wepụrụ n. Nke a na-enye ezigbo mmata n'ọnọdụ ọnọdụ, na-egwuri egwu nke ọma na kernel nlebara anya nke ọma, ma na-emebi nlebara anya nke ọma na anya. A na-eji RoPE ugbu a na Llama, Mistral, Qwen, na ọtụtụ ụdị mepere emepe ọgbara ọhụrụ.
Nghọta nka nka
RoPE na-emeso ntinye akụkụ na ụzọ abụọ ma na-etinye ntụgharị 2D na ụzọ abụọ ọ bụla, yana ụzọ abụọ dị iche iche na-atụgharị n'ụdị dị iche iche, dị ka aka nke ọtụtụ clocks na-agbanye na ọsọ dị iche iche. N'ihi na-atụgharị site na ọnọdụ m wee na-ewere ntụpọ ngwaahịa na ihe na-atụgharị site na ọnọdụ n na-ahapụ naanị akụkụ dị iche, nlebara anya akara na-aghọ ọrụ nke ikwu ọnọdụ. Otu ụzọ dị elu na-ejide usoro mpaghara dị mma; Otu ụzọ dị obere na-ejide ọnọdụ dị ogologo. N'ụzọ dị mkpa, ọ na-agbanwe ajụjụ na igodo, ọ bụghị ụkpụrụ.
Ịmalite Ntinye ọnọdụ Rotary
Rotary Position Embeddings (RoPE) na-etinye koodu ebe akara ngosi nke ọ bụla na-anọdụ n'usoro site n'ịtụgharị ajụjụ ya na vectors isi n'otu akụkụ dabara na ọnọdụ. Aghụghọ a mara mma na-eme ka ndị na-agbanwe agbanwe ghọta ebe dị anya ma gbasaa nke ọma ruo ogologo ọnọdụ. Mgbakwunye ọnọdụ Rotary bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, na-emeso Mgbakwunye ọnọdụ Rotary dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwapụta nsonaazụ achọrọ, dokwuo anya echiche, wee kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, otu siri ike na-eji Rotary Position Embeddings chepụta mkpali, iweghachite, na nyocha loops dị ka otu usoro nzikọrịta ozi agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Inye Llama, Mistral, na Qwen n'ụdị usoro akara ha na-enweghị ntinye ọnọdụ dị iche iche
Na-agbatị ihe ngosi nwere ike iji ihe atụ site na puku ole na ole ruo iri puku kwuru puku akara site na interpolation ma ọ bụ YaRN
Ụdị koodu na-enyere aka soro anya dị n'etiti braket, ọrụ na nrụtụ aka n'ofe faịlụ ogologo
Na-akwado ajụjụ ogologo akwụkwọ na-aza ebe ọnọdụ ikwu n'etiti ajụjụ na ihe akaebe
Usoro mmejuputa
Mgbakwunye ọnọdụ Rotary na omume
Inye Llama, Mistral, na Qwen n'ụdị usoro akara ha na-enweghị ntinye ọnọdụ dị iche iche.
Inye Llama, Mistral, na Qwen na-egosiputa echiche ha nke usoro akara na-enweghị ntinye ọnọdụ dị iche iche Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie na oge.
Mgbakwunye ọnọdụ Rotary na omume
Na-agbatị ọnọdụ nke ihe nlereanya site na puku ole na ole ruo iri puku kwuru puku token site na interpolation ma ọ bụ YaRN.
Ịgbatị ọnọdụ ihe atụ nwere ike ime site na puku ole na ole ruo iri puku kwuru puku token site na interpolation ma ọ bụ ndị otu YaRN na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ na-ebuwanye ibu maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie na oge.
Mgbakwunye ọnọdụ Rotary na omume
Ụdị koodu na-enyere aka soro anya dị n'etiti braket, ọrụ na nrụtụ aka n'ofe faịlụ ogologo.
Ụdị koodu inye aka soro anya dị n'etiti brackets, ọrụ, na ntụnyere n'ofe faịlụ ogologo Otu dị iche iche na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ mmụba mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Mgbakwunye ọnọdụ Rotary na omume
Na-akwado ajụjụ ogologo akwụkwọ na-aza ebe ọnọdụ ikwu n'etiti ajụjụ na ihe akaebe.
Ịkwado ajụjụ ogologo akwụkwọ na-aza ebe ọnọdụ dị n'etiti ajụjụ na ihe akaebe Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.