Ufafanuzi wa Nafasi kwa Muktadha Mrefu
Ufafanuzi wa Positional (PI) ni mbinu rahisi na yenye ushawishi inayopanua kidirisha cha muktadha wa Kibadilishaji kwa kubana fahirisi mpya za nafasi kwenye safu ambayo muundo tayari unafahamu.
Muhtasari
Instead of extrapolating to unseen positions, it interpolates within trained ones, requiring only brief fine-tuning.
Dive ya kina
Ilianzishwa na Meta watafiti (Chen et al.) mnamo 2023, Ufafanuzi wa Positional unashughulikia ukweli kwamba miundo yenye RoPE inashindwa vibaya wakati inapoongezwa kwenye nafasi zaidi ya mafunzo. Maarifa hayabadiliki: badala ya kuuliza kielelezo kushughulikia thamani kubwa zaidi za nafasi ambazo hazijawahi kuona, PI hugawanya fahirisi za nafasi zinazoingia kwa kigezo cha kipimo ili urefu unaolengwa wa, tuseme, ramani 8K kurudi katika safu asili ya 2K. Kwa sababu modeli ilifunzwa kwenye safu hiyo, mizunguko hukaa katika usambazaji. Baada ya hatua 1,000 za usanifu mzuri, muundo wa LLaMA ulipanuliwa kwa njia hii na kushughulikiwa hadi muktadha wa 32K. Karatasi ilionyesha uwasilishaji wa ziada unaweza kulipua alama za umakini kwa maadili makubwa, ilhali ufasiri huziweka zikiwa na mipaka na dhabiti, ndiyo maana ukalimani hufanya kazi vizuri zaidi kuliko uwasilishaji.
Ufahamu wa Kiufundi
PI huweka upya nafasi kutoka m hadi m/s ambapo s ni kipengele cha kiendelezi (k.m., urefu mpya uliogawanywa na urefu wa asili). Kwa Kamba hii kwa ufanisi hupunguza hatua ya mzunguko kati ya nafasi zilizo karibu, ikipakia nafasi zaidi kwenye safu ya angular iliyofunzwa. Ufungaji wa kinadharia kwenye karatasi unaonyesha alama za usikivu zilizoingiliwa hukaa kudhibitiwa vyema, ilhali utaftaji wa ujinga unaweza kutoa maagizo ya alama za ukubwa kuliko kitu chochote kinachoonekana katika mafunzo, na kuharibu softmax.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Ufafanuzi wa Nafasi kwa Muktadha Mrefu
Ufafanuzi Msimamo umekuwa msingi wa wimbi la ufuatiliaji, ikijumuisha kuongeza ufahamu wa NTK na YaRN, ambayo hutafsiri kwa kuchagua zaidi ili kuhifadhi maelezo ya ndani. Mwelekeo ni kuelekea njia ambazo zinahitaji kusawazisha kidogo au kutohitaji kabisa na kuelekea kuoka utunzaji wa muktadha mrefu katika mafunzo ya mapema. PI inasalia kuwa msingi muhimu na mara nyingi huunganishwa na mipango mpya zaidi ya kufahamu masafa ili kufikia madirisha ya muktadha wa 128K-plus kwa ufanisi.
Utekelezaji wa Ulimwengu Halisi
Kupanua muundo wa LLaMA wa muktadha wa 2K ili kushughulikia tokeni za 8K-32K kwa takriban hatua 1,000 za kurekebisha vizuri.
Kurekebisha muundo uliopo wa gumzo kwa muhtasari wa hati ndefu bila kujizoeza kuanzia mwanzo
Inatumika kama msingi wa dhana ambao uwekaji viwango vya ufahamu wa NTK na Uzi huboreshwa
Kuwasha msimbo wa muktadha mrefu au uchanganuzi wa hati ya kisheria kwenye miundo iliyofunzwa awali kwa kutumia madirisha mafupi
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Positional Interpolation for Long Context quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Ufafanuzi wa Nafasi kwa Kiendelezi cha Muktadha
Maswali yanayoulizwa mara kwa mara
What is Positional Interpolation for Long Context?
Ufafanuzi wa Positional (PI) ni mbinu rahisi na yenye ushawishi inayopanua kidirisha cha muktadha wa Kibadilishaji kwa kubana fahirisi mpya za nafasi kwenye safu ambayo muundo tayari unafahamu. Badala ya kuzidisha nafasi zisizoonekana, inaingilia kati ya wale waliofunzwa, ikihitaji marekebisho mafupi tu.
Ni nini wazo kuu nyuma ya Ufafanuzi wa Nafasi?
PI hugawanya fahirisi za nafasi kwa kigezo cha mizani ili ramani ipange tena katika safu ya nafasi iliyofunzwa, kuweka mizunguko katika usambazaji.
Kwa nini uboreshaji wa ujinga kwa nafasi ndefu hushindwa?
Karatasi ya PI ilionyesha nafasi kubwa zisizoonekana zinaweza kutoa maagizo ya alama za umakini za ukubwa zaidi kuliko mafunzo, na kuharibu softmax.
Takriban ni urekebishaji mzuri kiasi gani kazi ya awali ya PI ilihitaji kupanua LLaMA hadi 32K?
Gazeti hilo liliripoti kuwa karibu hatua 1,000 za kurekebisha vizuri zilitosha kupanua muktadha hadi tokeni 32K.
Ikiwa unapanua muktadha kwa sababu s, PI inabadilishaje nafasi m?
PI hupunguza nafasi kutoka m hadi m/s, ikibana masafa mapya makubwa zaidi katika safu asili iliyofunzwa.
PI iliathiri vipi njia za baadaye kama YaRN?
PI ilianzisha ukalimani kama njia salama; Kuongeza kiwango cha ufahamu wa NTK na YaRN iliiboresha kwa kujumuisha masafa kwa kuchagua zaidi.