Mgbakwunye ọnọdụ Rotary
Rotary Position Embeddings (RoPE) na-etinye koodu ebe akara ngosi nke ọ bụla na-anọdụ n'usoro site n'ịtụgharị ajụjụ ya na vectors isi n'otu akụkụ dabara na ọnọdụ.
Nchịkọta
This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.
Ime miri emi
Ndị na-agbanwe agbanwe enweghị echiche arụnyere n'usoro, yabụ ha chọrọ ozi ọnọdụ agbakwunyere n'ụzọ ụfọdụ. Ụdị ndị mbụ gbakwunyere vector sinusoidal etinyere ma ọ bụ ntinye ọnọdụ mmụta na ntinye. RoPE, nke Su na ndị ọrụ ibe ha tụpụtara na 2021, na-ewe ụzọ dị iche: kama ịgbakwunye vector ọnọdụ, ọ na-atụgharị akụkụ abụọ nke akụkụ na ajụjụ yana vectors isi site n'akụkụ na-etolite n'ọnọdụ akara ngosi. Mgbe ihe nlereanya na-agbakọ ngwaahịa ntụpọ n'etiti ajụjụ na ọnọdụ m na igodo n'ọnọdụ n, mgbakọ na mwepụ na-arụ ọrụ ya mere nsonaazụ ya dabere naanị n'ebe dị anya ha m wepụrụ n. Nke a na-enye ezigbo mmata n'ọnọdụ ọnọdụ, na-egwuri egwu nke ọma na kernel nlebara anya nke ọma, ma na-emebi nlebara anya nke ọma na anya. A na-eji RoPE ugbu a na Llama, Mistral, Qwen, na ọtụtụ ụdị mepere emepe ọgbara ọhụrụ.
Nghọta nka nka
RoPE na-emeso ntinye akụkụ na ụzọ abụọ ma na-etinye ntụgharị 2D na ụzọ abụọ ọ bụla, yana ụzọ abụọ dị iche iche na-atụgharị n'ụdị dị iche iche, dị ka aka nke ọtụtụ clocks na-agbanye na ọsọ dị iche iche. N'ihi na-atụgharị site na ọnọdụ m wee na-ewere ntụpọ ngwaahịa na ihe na-atụgharị site na ọnọdụ n na-ahapụ naanị akụkụ dị iche, nlebara anya akara na-aghọ ọrụ nke ikwu ọnọdụ. Otu ụzọ dị elu na-ejide usoro mpaghara dị mma; Otu ụzọ dị obere na-ejide ọnọdụ dị ogologo. N'ụzọ dị mkpa, ọ na-agbanwe ajụjụ na igodo, ọ bụghị ụkpụrụ.
Mmetụta atụmatụ
Ọsọ na ọnụ ọgụgụ
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Nweta na iru
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Mkpebi doro anya
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Ọdịnihu nke ntinye ọnọdụ Rotary
Ọrụ na-adịbeghị anya lekwasịrị anya n'ịgbatị RoPE gaa n'ọnọdụ dị ogologo karịa ụdị a zụrụ azụ na ya. Usoro dị ka interpolation ọnọdụ, NTK-aware scaling, na YaRN na-edozi ugboro ntụgharị ka ihe nlereanya a zụrụ azụ, sịnụ, 4K tokens nwere ike ijikwa 32K ma ọ bụ karịa site na iji ngbanwe dị mma. Na-atụ anya na RoPE ga-anọgide na-abụ atụmatụ ọnọdụ kachasị, yana nhazigharị na-aga n'ihu na ugboro ole ya na nhazi maka ọnọdụ ndenye, na ịga n'ihu na-amụ banyere otu o si emetụta omume nlebara anya.
Mmejuputa n'ezie n'ụwa
Inye Llama, Mistral, na Qwen n'ụdị usoro akara ha na-enweghị ntinye ọnọdụ dị iche iche
Na-agbatị ihe ngosi nwere ike iji ihe atụ site na puku ole na ole ruo iri puku kwuru puku akara site na interpolation ma ọ bụ YaRN
Ụdị koodu na-enyere aka soro anya dị n'etiti braket, ọrụ na nrụtụ aka n'ofe faịlụ ogologo
Na-akwado ajụjụ ogologo akwụkwọ na-aza ebe ọnọdụ dị n'etiti ajụjụ na ihe akaebe
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rotary Position Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Ọnọdụ ALiBi
Ajụjụ a na-ajụkarị
What is Rotary Position Embeddings?
Rotary Position Embeddings (RoPE) na-etinye koodu ebe akara ngosi nke ọ bụla na-anọdụ n'usoro site n'ịtụgharị ajụjụ ya na vectors isi n'otu akụkụ dabara na ọnọdụ. Aghụghọ a mara mma na-eme ka ndị na-agbanwe agbanwe ghọta ebe dị anya ma gbasaa nke ọma ruo ogologo ọnọdụ.
Kedu ka RoPE si agbaba ozi ọnọdụ n'ime ihe ntụgharị?
RoPE na-atụgharị ajụjụ na vectors igodo site n'akụkụ nhata na ọnọdụ, kama ịgbakwunye vector ọnọdụ dị iche.
Kedu akụkụ nke mgbakọ nlebara anya ka RoPE na-agbanwe?
RoPE na-etinye ntụgharị ya na ajụjụ na isi vectors, na-ahapụ vector bara uru emetụghị ya.
Kedu ihe kpatara na ụzọ abụọ dị iche iche na-atụgharị n'ogo dị iche iche na RoPE?
Dị ka aka elekere na-akụ n'ọsọ dị iche iche, frequencies dị iche iche na-ahapụ ụfọdụ ụzọ abụọ na-etinye koodu n'usoro dị mkpụmkpụ yana ndị ọzọ na ọnọdụ ogologo.
Gịnị bụ ebumnobi nke usoro dị ka interpolation ọnọdụ, NTK-maara scaling, na YaRN?
Ụzọ ndị a na-eweghachi ugboro ntụgharị RoPE ka ihe nlereanya wee nwee ike ijikwa ọnọdụ dị ogologo karịa ogologo ọzụzụ mbụ ya.