Ufafanuzi wa Nafasi kwa Kiendelezi cha Muktadha
Ufafanuzi wa Nafasi (PI) ni mbinu inayonyoosha kidirisha cha muktadha kinachoweza kutumika cha modeli ya lugha zaidi ya urefu wake wa mafunzo kwa kuongeza fahirisi za nafasi badala ya kuziongeza.
Muhtasari
It lets a model trained on, say, 2K or 4K tokens handle 32K or more with only light fine-tuning.
Dive ya kina
LLM nyingi za kisasa hutumia upachikaji wa nafasi za mzunguko (RoPE), ambazo husimba nafasi kama pembe za mzunguko zinazotumika kwa hoja na vekta muhimu. Ukilisha tu mfuatano mrefu zaidi, modeli huona nafasi na pembe za mzunguko ambazo haikupata mafunzo, na utendakazi huporomoka kwa sababu umakini huzidisha vibaya kwa masafa ya nje ya masafa. Ufafanuzi wa Nafasi huepuka kuzidisha: kupanua kutoka urefu L hadi urefu L', hugawanya kila faharasa ya nafasi kwa kipengele L'/L, ikifinya safu mpya kurudi kwenye kipindi kilichofunzwa. Muundo huo sasa huwahi kuona tu pembe za ugawaji, zikiwa zimetenganishwa kwa wingi zaidi. Usanifu mfupi (mara nyingi ni hatua mia chache hadi elfu) huiruhusu iendane na nafasi nzuri zaidi, ikitoa tabia thabiti ya muktadha mrefu kwa sehemu ndogo ya gharama ya mafunzo ya awali.
Ufahamu wa Kiufundi
RoPE huzungusha jozi za vipimo katika masafa ambayo yanaenea vizuri hadi kuwa magumu. PI hupunguza nafasi m hadi m/s ambapo s = L'/L, kwa hivyo pembe za mzunguko hukaa ndani ya safu iliyofunzwa badala ya kupeperusha. Vibadala vinavyofahamu mara kwa mara kama vile kuongeza ufahamu wa NTK na Uzi huenda mbali zaidi: huongeza masafa ya chini chini na masafa ya juu zaidi (au kuingiliana kwa urefu wa wimbi), kuhifadhi maelezo ya ndani ya masafa ya juu huku wakipanua ufikiaji wa masafa ya chini ya masafa marefu.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Ufafanuzi wa Nafasi kwa Upanuzi wa Muktadha
Kiendelezi cha muktadha kinaendelea haraka. Mbinu kama vile kuongeza NTK-aware RoPE, YaRN, na dynamic/long-RoPE sasa husukuma madirisha hadi mamia ya maelfu au hata mamilioni ya tokeni, wakati mwingine kwa kusawazisha kidogo au bila kusawazisha. Tarajia mbinu hizi za kuongeza ukubwa kuunganishwa na uzingatiaji bora na ukandamizaji wa kache ya KV, na kuwa vifundo vya kawaida katika usanidi wa miundo. Utafiti unaendelea juu ya kuweka usahihi juu katika dirisha kamili ili miktadha mirefu iweze kutumika kikweli, sio tu kuungwa mkono kwa jina.
Utekelezaji wa Ulimwengu Halisi
Kupanua muundo wa LLaMA uliofunzwa kwa 4K hadi muktadha wa 32K ili kufanya muhtasari wa hati ndefu baada ya kusawazisha kwa muda mfupi.
Inapakia msingi mzima wa msimbo au mkataba mkubwa wa kisheria katika kidokezo kimoja cha kujibu maswali mbalimbali.
Kutumia NTK-aware au kuongeza Uzi ili kurefusha muktadha kwa mafunzo machache au bila ya ziada.
Kutumikia historia ndefu za gumzo bila kupunguzwa kwa kubadilisha nafasi za RoPE kwa wakati wa makisio.
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Position Interpolation for Context Extension quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Urefu wa Uzi na Muktadha
Maswali yanayoulizwa mara kwa mara
What is Position Interpolation for Context Extension?
Ufafanuzi wa Nafasi (PI) ni mbinu inayonyoosha kidirisha cha muktadha kinachoweza kutumika cha modeli ya lugha zaidi ya urefu wake wa mafunzo kwa kuongeza fahirisi za nafasi badala ya kuziongeza. Huruhusu kielelezo kilichofunzwa, tuseme, tokeni za 2K au 4K kushughulikia 32K au zaidi kwa urekebishaji mwepesi pekee.
Ni nini wazo kuu la Ufafanuzi wa Nafasi?
PI hugawanya fahirisi za nafasi kwa kipengele cha kiendelezi, ikipanga mlolongo mrefu kurudi kwenye safu ya usambazaji ambayo muundo ambao tayari umejifunza.
Ni mpango gani wa usimbaji wa nafasi ambao Ufafanuzi wa Nafasi unahusishwa nao zaidi?
PI iliangaziwa kwa miundo inayotegemea RoPE, ikipunguza tena pembe za mzunguko ili zisalie ndani ya masafa ya mafunzo.
Kwa nini utaftaji wa ujinga kwa muktadha mrefu huwa haufaulu?
Kulisha mifuatano mirefu huweka kielelezo kwenye pembe za nje ya masafa ambayo haikuwahi kujizoeza, na kusababisha umakini na utendakazi kuharibika sana.
Ikiwa inapanua urefu wa muktadha kutoka L hadi L', ni sababu gani ya kupunguza PI inatumika kwa nafasi m?
Ramani za PI kutoka m hadi m zikigawanywa na kipengele s = L'/L, ikibana masafa marefu katika muda wa awali uliofunzwa.
Je, kuongeza ufahamu wa NTK na Uzi huboresha vipi kwenye Ufafanuzi wa Nafasi wazi?
Mbinu hizi huongeza masafa ya chini na ya juu kwa njia tofauti, zikihifadhi maelezo mafupi ya eneo la ndani huku zikifikia miktadha mirefu zaidi.