Interpolation ipo fun Itẹsiwaju Ọrọ
Interpolation ipo (PI) jẹ ilana kan ti o na awoṣe ede ti o nà ferese ọrọ ọrọ to ṣee lo jinna ju ipari ikẹkọ rẹ lọ nipa yiyi awọn atọka ipo dipo kiko wọn.
Akopọ
It lets a model trained on, say, 2K or 4K tokens handle 32K or more with only light fine-tuning.
Jin Dive
Pupọ awọn LLM ode oni lo awọn ifibọ ipo rotari (RoPE), eyiti o fi koodu koodu pamọ bi awọn igun iyipo ti a lo si ibeere ati awọn olutọpa bọtini. Ti o ba jẹ ifunni awọn ilana to gun, awoṣe naa rii awọn ipo ati awọn igun iyipo ti ko kọ ẹkọ rara, ati iṣẹ ṣiṣe ṣubu nitori akiyesi ṣe afikun ni ibi si awọn igbohunsafẹfẹ ti ita. Interpolation ipo yago fun afikun: lati fa lati ipari L si ipari L', o pin gbogbo itọka ipo nipasẹ ifosiwewe L'/L, fifin iwọn tuntun pada si aarin ikẹkọ. Awoṣe naa ni bayi nikan rii awọn igun pinpin kaakiri, o kan ni aaye ni iwuwo diẹ sii. Atunse kukuru kukuru (nigbagbogbo awọn igbesẹ ọgọọgọrun si ẹgbẹrun) jẹ ki o ṣe deede si aye to dara julọ, ti nso ihuwasi ipo-ọrọ iduroṣinṣin ni ida kekere kan ti idiyele iṣaaju.
Imọ-imọ-ẹrọ
RoPE n yi awọn orisii iwọn ni awọn loorekoore ti o tan daradara si isokuso. PI ṣe iwọn ipo m si m/s nibiti s = L'/L, nitorinaa awọn igun yiyi duro laarin iwọn ikẹkọ dipo ki o ṣe afikun. Awọn iyatọ ti o ni imọ-igbohunsafẹfẹ bii irẹjẹ NTK-mọ ati YaRN lọ siwaju: wọn ṣe iwọn awọn loorekoore kekere kere si ati awọn igbohunsafẹfẹ giga diẹ sii (tabi interpolate nipasẹ gigun weful), titoju awọn alaye agbegbe igbohunsafẹfẹ-giga lakoko ti o n fa isunmọ-igbohunsafẹfẹ kekere-iwọn gigun gigun.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Interpolation ipo fun Ifaagun Ọrọ
Itẹsiwaju ọrọ n lọ ni iyara. Awọn ọna bii NTK-mọ RoPE scaling, YaRN, ati dynamic/long-RoPE bayi Titari awọn window si awọn ọgọọgọrun egbegberun tabi paapaa awọn miliọnu awọn ami, nigbakan pẹlu kekere tabi ko si atunṣe-itanran. Reti awọn ẹtan igbelowọn wọnyi lati ni idapo pẹlu akiyesi daradara ati funmorawon kaṣe KV, ati lati di awọn koko boṣewa ni awọn atunto awoṣe. Iwadi n tẹsiwaju lori titọju deede ga kọja ferese kikun nitorinaa awọn ọrọ gigun jẹ iwulo nitootọ, kii ṣe atilẹyin orukọ nikan.
Real-World imuse
Fidiẹ awoṣe LLAMA ti ikẹkọ 4K si aaye 32K kan lati ṣe akopọ awọn iwe aṣẹ gigun lẹhin iṣatunṣe itanran kukuru.
Ikojọpọ gbogbo ipilẹ koodu tabi adehun ofin nla sinu itọsi kan fun idahun ibeere faili agbelebu.
Lilo NTK-mọ tabi iwọn iwọn YaRN lati gigun ọrọ-ọrọ pẹlu pọọku tabi ko si ikẹkọ afikun.
Ṣiṣẹ awọn itan-akọọlẹ iwiregbe gigun laisi gige nipasẹ tito awọn ipo RoPE ni akoko itọkasi.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Position Interpolation for Context Extension quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
YaRN ati Itẹsiwaju Gigun Ọrọ
Awọn ibeere ti a beere nigbagbogbo
What is Position Interpolation for Context Extension?
Interpolation ipo (PI) jẹ ilana kan ti o na awoṣe ede ti o nà ferese ọrọ ọrọ to ṣee lo jinna ju ipari ikẹkọ rẹ lọ nipa yiyi awọn atọka ipo dipo kiko wọn. O jẹ ki awoṣe ikẹkọ lori, sọ, 2K tabi 4K àmi mu 32K tabi diẹ ẹ sii pẹlu ina nikan itanran-yiyi.
Kini ero pataki ti Interpolation Ipo?
PI pin awọn atọka ipo nipasẹ ifosiwewe ifaagun, ṣe aworan ilana ti o gun julọ pada sinu iwọn pinpin ti awoṣe ti kọ tẹlẹ.
Eto fifi koodu ipo wo ni Ipo Interpolation julọ ni nkan ṣe pẹlu?
PI jẹ olokiki fun awọn awoṣe ti o da lori RoPE, tun ṣe iwọn awọn igun iyipo ki wọn wa laarin awọn igbohunsafẹfẹ ikẹkọ.
Kini idi ti aiṣedeede aiṣedeede si awọn ọrọ to gun ju lati kuna?
Ifunni awọn itọsi gigun n ṣafihan awoṣe si awọn igun ti ita ti ko ni ikẹkọ lori, nfa akiyesi ati iṣẹ ṣiṣe lati dinku ni kiakia.
Ti o ba fa gigun ọrọ-ọrọ lati L si L', kini ifosiwewe isọdọtun wo ni ipilẹ PI kan si ipo m?
PI maapu m to m pin nipasẹ awọn ifosiwewe s = L'/L, compressing awọn gun ibiti o sinu atilẹba oṣiṣẹ aarin.
Bawo ni igbelowọn NTK-mọ ati YaRN ṣe ilọsiwaju lori Interpolation Ipo itele bi?
Awọn ọna wọnyi ṣe iwọn kekere ati awọn igbohunsafẹfẹ giga yatọ, ni idaduro awọn alaye ipo agbegbe ti o dara daradara lakoko ti o tun de awọn ipo to gun.