Upachikaji wa Nafasi ya Rotary
Upachikaji wa Nafasi ya Rotary (Kamba) husimba ambapo kila tokeni hukaa katika mfuatano kwa kuzungusha hoja yake na vivekta muhimu kwa pembe sawia na nafasi.
Muhtasari
This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.
Dive ya kina
Transfoma hazina maana ya kujengwa ndani ya utaratibu, kwa hivyo zinahitaji maelezo ya nafasi kuongezwa kwa namna fulani. Miundo ya awali iliongeza vekta za sinusoidal zisizobadilika au upachikaji wa nafasi zilizojifunza kwenye pembejeo. Kamba, iliyopendekezwa na Su na wenzake mnamo 2021, inachukua njia tofauti: badala ya kuongeza vekta ya msimamo, inazunguka jozi za vipimo katika swala na vekta muhimu kwa pembe inayokua na msimamo wa ishara. Wakati modeli inakokotoa bidhaa ya nukta kati ya hoja katika nafasi m na ufunguo katika nafasi n, hesabu hufanya kazi kwa hivyo matokeo hutegemea tu umbali wao wa jamaa m minus n. Hii inatoa mwamko halisi wa msimamo wa jamaa, hucheza vizuri na chembe za umakinifu bora, na kuoza usikivu vizuri kwa umbali. RoPE sasa inatumika katika Llama, Mistral, Qwen, na mifano mingi ya kisasa iliyo wazi.
Ufahamu wa Kiufundi
RoPE hushughulikia vipimo vya upachikaji katika jozi na kutumia mzunguko wa 2D kwa kila jozi, na jozi tofauti zikizunguka kwa masafa tofauti, kama vile mikono ya saa nyingi inayoyoma kwa kasi tofauti. Kwa sababu kuzungusha kwa nafasi m na kisha kuchukua bidhaa ya nukta na kitu kinachozungushwa kwa nafasi n huacha tofauti ya pembe, alama za umakini huwa kazi za nafasi inayolingana. Jozi za masafa ya juu huchukua mpangilio mzuri wa ndani; jozi za masafa ya chini huchukua nafasi ya masafa marefu. Kwa kweli, inarekebisha maswali na funguo, sio maadili.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Upachikaji wa Nafasi ya Rotary
Kazi nyingi za hivi majuzi zinalenga katika kunyoosha Kamba kwa miktadha ndefu zaidi kuliko modeli iliyofunzwa. Mbinu kama vile ukalimani wa nafasi, kuongeza ufahamu wa NTK, na Uzi hurekebisha masafa ya mzunguko ili muundo uliofunzwa, tuseme, tokeni za 4K zinaweza kushughulikia 32K au zaidi kwa urekebishaji mwanga. Tarajia RoPE kubaki kuwa mpango mkuu wa nafasi, pamoja na uboreshaji unaoendelea kwa marudio yake ya msingi na kuongeza miktadha ya ishara milioni, na kuendelea na utafiti wa jinsi inavyoingiliana na tabia ya umakini.
Utekelezaji wa Ulimwengu Halisi
Kutoa mifano ya Llama, Mistral, na Qwen hisia zao za mpangilio wa tokeni bila upachikaji wa nafasi tofauti
Kupanua muktadha unaoweza kutumika wa modeli kutoka elfu chache hadi makumi ya maelfu ya ishara kupitia tafsiri au YaRN
Mitindo ya kusaidia kufuatilia umbali kati ya mabano, vitendaji na marejeleo kwenye faili ndefu
Kusaidia swali la hati ndefu kujibu mahali ambapo nafasi ya jamaa kati ya swali na ushahidi ni muhimu
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rotary Position Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Upendeleo wa Nafasi ya ALiBi
Maswali yanayoulizwa mara kwa mara
What is Rotary Position Embeddings?
Upachikaji wa Nafasi ya Rotary (Kamba) husimba ambapo kila tokeni hukaa katika mfuatano kwa kuzungusha hoja yake na vivekta muhimu kwa pembe sawia na nafasi. Ujanja huu wa kifahari huruhusu transfoma kuelewa umbali wa jamaa na kupanua kwa uzuri hadi miktadha mirefu.
RoPE inaingizaje habari ya msimamo kwenye kibadilishaji?
RoPE huzungusha swala na vekta muhimu kwa pembe sawia na nafasi, badala ya kuongeza vekta ya nafasi tofauti.
RoPE inarekebisha sehemu gani za hesabu ya umakini?
RoPE hutumia mizunguko yake kwa swala na vivekta muhimu, na kuacha vekta za thamani bila kuguswa.
Kwa nini jozi za vipimo tofauti huzunguka katika masafa tofauti katika RoPE?
Kama vile mikono ya saa inayoashiria kasi tofauti, masafa tofauti huruhusu jozi zingine kusimba mpangilio wa masafa mafupi na zingine za masafa marefu.
Je, lengo la mbinu kama vile ukalimani wa nafasi, kuongeza ufahamu wa NTK, na Uzio ni nini?
Mbinu hizi hurekebisha masafa ya mzunguko wa RoPE ili modeli iweze kushughulikia miktadha mirefu zaidi kuliko urefu wake wa awali wa mafunzo.