InayofuataMwongozo unaofuata
Ufafanuzi wa Nafasi kwa Kiendelezi cha Muktadha
Lugha AI
MWONGOZO wa Kiufundi
Ufafanuzi wa Nafasi kwa Muktadha Mrefu
Ufafanuzi wa Positional (PI) ni mbinu rahisi na yenye ushawishi inayopanua kidirisha cha muktadha wa Kibadilishaji kwa kubana fahirisi mpya za nafasi kwenye safu ambayo muundo tayari unafahamu.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Instead of extrapolating to unseen positions, it interpolates within trained ones, requiring only brief fine-tuning.
Dive ya kina
Ilianzishwa na Meta watafiti (Chen et al.) mnamo 2023, Ufafanuzi wa Positional unashughulikia ukweli kwamba miundo yenye RoPE inashindwa vibaya wakati inapoongezwa kwenye nafasi zaidi ya mafunzo. Maarifa hayabadiliki: badala ya kuuliza kielelezo kushughulikia thamani kubwa zaidi za nafasi ambazo hazijawahi kuona, PI hugawanya fahirisi za nafasi zinazoingia kwa kigezo cha kipimo ili urefu unaolengwa wa, tuseme, ramani 8K kurudi katika safu asili ya 2K. Kwa sababu modeli ilifunzwa kwenye safu hiyo, mizunguko hukaa katika usambazaji. Baada ya hatua 1,000 za usanifu mzuri, muundo wa LLaMA ulipanuliwa kwa njia hii na kushughulikiwa hadi muktadha wa 32K. Karatasi ilionyesha uwasilishaji wa ziada unaweza kulipua alama za umakini kwa maadili makubwa, ilhali ufasiri huziweka zikiwa na mipaka na dhabiti, ndiyo maana ukalimani hufanya kazi vizuri zaidi kuliko uwasilishaji.
Utekelezaji wa Ulimwengu Halisi
Kupanua muundo wa LLaMA wa muktadha wa 2K ili kushughulikia tokeni za 8K-32K kwa takriban hatua 1,000 za kurekebisha vizuri.
Kurekebisha muundo uliopo wa gumzo kwa muhtasari wa hati ndefu bila kujizoeza kuanzia mwanzo
Inatumika kama msingi wa dhana ambao uwekaji viwango vya ufahamu wa NTK na Uzi huboreshwa
Kuwasha msimbo wa muktadha mrefu au uchanganuzi wa hati ya kisheria kwenye miundo iliyofunzwa awali kwa kutumia madirisha mafupi
Mustakabali wa Ufafanuzi wa Nafasi kwa Muktadha Mrefu
Ufafanuzi Msimamo umekuwa msingi wa wimbi la ufuatiliaji, ikijumuisha kuongeza ufahamu wa NTK na YaRN, ambayo hutafsiri kwa kuchagua zaidi ili kuhifadhi maelezo ya ndani. Mwelekeo ni kuelekea njia ambazo zinahitaji kusawazisha kidogo au kutohitaji kabisa na kuelekea kuoka utunzaji wa muktadha mrefu katika mafunzo ya mapema. PI inasalia kuwa msingi muhimu na mara nyingi huunganishwa na mipango mpya zaidi ya kufahamu masafa ili kufikia madirisha ya muktadha wa 128K-plus kwa ufanisi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Positional Interpolation for Long Context quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Positional Interpolation for Long Context?
Ufafanuzi wa Positional (PI) ni mbinu rahisi na yenye ushawishi inayopanua kidirisha cha muktadha wa Kibadilishaji kwa kubana fahirisi mpya za nafasi kwenye safu ambayo muundo tayari unafahamu. Badala ya kuzidisha nafasi zisizoonekana, inaingilia kati ya wale waliofunzwa, ikihitaji marekebisho mafupi tu.
Ni nini wazo kuu nyuma ya Ufafanuzi wa Nafasi?
PI hugawanya fahirisi za nafasi kwa kigezo cha mizani ili ramani ipange tena katika safu ya nafasi iliyofunzwa, kuweka mizunguko katika usambazaji.
Kwa nini uboreshaji wa ujinga kwa nafasi ndefu hushindwa?
Karatasi ya PI ilionyesha nafasi kubwa zisizoonekana zinaweza kutoa maagizo ya alama za umakini za ukubwa zaidi kuliko mafunzo, na kuharibu softmax.
Takriban ni urekebishaji mzuri kiasi gani kazi ya awali ya PI ilihitaji kupanua LLaMA hadi 32K?
Gazeti hilo liliripoti kuwa karibu hatua 1,000 za kurekebisha vizuri zilitosha kupanua muktadha hadi tokeni 32K.
Ikiwa unapanua muktadha kwa sababu s, PI inabadilishaje nafasi m?
PI hupunguza nafasi kutoka m hadi m/s, ikibana masafa mapya makubwa zaidi katika safu asili iliyofunzwa.
PI iliathiri vipi njia za baadaye kama YaRN?
PI ilianzisha ukalimani kama njia salama; Kuongeza kiwango cha ufahamu wa NTK na YaRN iliiboresha kwa kujumuisha masafa kwa kuchagua zaidi.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii