Interpolation ipo fun Ọrọ Gigun
Interpolation ipo (PI) jẹ ọna ti o rọrun, ti o ni ipa ti o fa ferese ọrọ-ọrọ Transformer kan nipa titẹ awọn atọka ipo tuntun sinu ibiti awoṣe ti mọ tẹlẹ.
Akopọ
Dipo ti extrapolating to unseen awọn ipo, o interpolates laarin oṣiṣẹ eyi, nilo nikan finifini itanran-tunse.
Jin Dive
Iṣafihan nipasẹ awọn oniwadi Meta (Chen et al.) ni 2023, Interpolation Ipo n koju otitọ pe awọn awoṣe pẹlu RoPE kuna ni ajalu nigbati o n ṣe afikun si awọn ipo ti o kọja ikẹkọ. Imọye naa jẹ atako: dipo ki o beere fun awoṣe lati mu awọn ipo ipo ti o tobi ju ti ko tii ri, PI pin awọn itọka ipo ti nwọle nipasẹ ipin iwọn kan ki ipari ibi-afẹde ti, sọ, awọn maapu 8K pada si ibiti 2K atilẹba. Nitoripe awoṣe ti ni ikẹkọ lori iwọn yẹn, awọn iyipo duro ni pinpin. Lẹhin awọn igbesẹ atunṣe-itanran 1,000 kan, awoṣe LLAMA kan gbooro ni ọna yii ti a mu to ipo 32K. Iwe naa fihan pe afikun le fẹ awọn ikun akiyesi si awọn iye nla, lakoko ti interpolation jẹ ki wọn di opin ati iduroṣinṣin, eyiti o jẹ idi ti interpolation n ṣiṣẹ dara julọ dara julọ ju afikun.
Imọ-imọ-ẹrọ
PI ṣe atunṣe ipo m si m/s nibiti s jẹ ifosiwewe itẹsiwaju (fun apẹẹrẹ, ipari titun pin nipasẹ ipari atilẹba). Fun RoPE ni imunadoko ni isunmọ igbesẹ yiyi laarin awọn ipo ti o wa nitosi, iṣakojọpọ awọn ipo diẹ sii sinu iwọn igun ikẹkọ ikẹkọ. Ipinnu imọ-jinlẹ ninu iwe naa fihan awọn ikun akiyesi interpolated duro ni iṣakoso daradara, lakoko ti itusilẹ ti o rọrun le gbejade awọn aṣẹ ikun ti titobi ti o tobi ju ohunkohun ti a rii ninu ikẹkọ, destabilizing softmax.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Interpolation ipo fun Ọrọ Gigun
Interpolation ipo di ipile fun igbi ti awọn atẹle, pẹlu iwọn NTK-mọ ati YaRN, eyiti o ṣe agbedemeji ni yiyan diẹ sii lati tọju alaye agbegbe. Itọpa naa wa si awọn ọna ti o nilo diẹ tabi ko si atunṣe-itanran ati si yiyan mimu ọrọ-ọrọ gigun sinu ikẹkọ iṣaaju. PI jẹ ipilẹ ipilẹ ti o niyelori ati nigbagbogbo ni idapo pẹlu awọn ero igbohunsafẹfẹ-imọ tuntun lati de 128K-plus awọn window ti o tọ daradara.
Real-World imuse
Fidiẹ awoṣe LLAMA-ọrọ-2K kan lati mu awọn ami ami 8K-32K pẹlu bii awọn igbesẹ atunṣe-daradara 1,000
Aṣamubadọgba awoṣe iwiregbe ti o wa tẹlẹ fun akopọ iwe-gigun laisi ikẹkọ lati ibere
Ṣiṣẹ bi ipilẹ ero ti NTK-mọ igbelosoke ati YaRN ni ilọsiwaju lori
Muu koodu ọrọ-igba pipẹ ṣiṣẹ tabi itupalẹ iwe-ofin lori awọn awoṣe akọkọ ti oṣiṣẹ pẹlu awọn ferese kukuru
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Positional Interpolation for Long Context quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Interpolation ipo fun Itẹsiwaju Ọrọ
Awọn ibeere ti a beere nigbagbogbo
Kini Positional Interpolation fun Long Context?
Interpolation ipo (PI) jẹ ọna ti o rọrun, ti o ni ipa ti o fa ferese ọrọ-ọrọ Transformer kan nipa titẹ awọn atọka ipo tuntun sinu ibiti awoṣe ti mọ tẹlẹ. Dípò yíyanfẹ́fẹ̀ẹ́ sí àwọn ipò tí a kò lè rí, ó ń bá àwọn tí a ti dá lẹ́kọ̀ọ́ lọ́nà, ó ń béèrè àtúnṣe kúkúrú.
Kini ero pataki lẹhin Interpolation Ipo?
PI pin awọn itọka ipo nipasẹ ifosiwewe iwọnwọn ki awọn ilana to gun ṣe maapu pada si iwọn ipo ikẹkọ, titọju awọn iyipo ni pinpin.
Kini idi ti isọdi aimọkan si awọn ipo to gun kuna?
Iwe PI ṣe afihan awọn ipo nla ti a ko rii le ṣe agbejade awọn iṣiro akiyesi awọn ibere ti titobi ti o tobi ju ikẹkọ, destabilizing softmax.
Ni aijọju bawo ni iṣatunṣe itanran ti iṣẹ PI atilẹba nilo lati fa LLAMA si 32K?
Iwe naa royin pe ni ayika 1,000 awọn igbesẹ atunṣe-itanran ti to lati faagun ọrọ-ọrọ to awọn ami-ami 32K.
Ti o ba faagun ọrọ-ọrọ nipasẹ ifosiwewe s, bawo ni PI ṣe yipada ipo m?
PI rescales ipo m to m/s, compressing titun ti o tobi ibiti o sinu atilẹba oṣiṣẹ ibiti.
Bawo ni PI ṣe ni ipa awọn ọna nigbamii bi YaRN?
PI ti iṣeto interpolation bi ailewu ona; NTK-mọ igbelosoke ati YaRN refaini nipasẹ interpolating awọn igbohunsafẹfẹ diẹ sii yiyan.