YaRN ati Itẹsiwaju Gigun Ọrọ
YaRN (Sibẹsi afikun RoPE extensioN) jẹ ilana imunadoko fun ninà ferese ọrọ igba elo awoṣe kan ti o jinna ju ohun ti o ti kọ lori.
Akopọ
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
Jin Dive
Pupọ LLM ti ode oni ṣe koodu awọn ipo ami pẹlu RoPE (Awọn ifibọ ipo Iyipo), eyiti o yi ibeere ati awọn ipadabọ bọtini nipasẹ awọn igun ti a so si ipo. Nigbati o ba ifunni awọn ilana to gun ju ipari ikẹkọ lọ, awọn iyipo wọnyi wọ awọn sakani ti a ko rii ati awoṣe naa fọ. YaRN, ti a ṣe ni 2023 nipasẹ Bowen Peng ati awọn alabaṣiṣẹpọ, ṣe atunṣe eyi pẹlu NTK-mọ interpolation ti a lo fun igbohunsafẹfẹ: o fi awọn iwọn igbohunsafẹfẹ giga silẹ (eyiti o gba agbegbe, awọn ibatan kukuru kukuru) ti a ko fọwọkan lakoko ti o n ṣe agbero awọn iwọn-igbohunsafẹfẹ kekere (eyiti o tọpa ipo gigun-gun). YaRN tun ṣe afikun atunṣe iwọn otutu si akiyesi lati koju awọn iyipada entropy ti o wa lati awọn aaye to gun. Abajade jẹ iṣẹ-ọrọ-gun ti o lagbara lẹhin titun-tunse lori ida kan nikan ti data ati awọn igbesẹ ti awọn isunmọ aimọkan nilo.
Imọ-imọ-ẹrọ
RoPE ṣe ipin iwọn ifisinu kọọkan ni igbohunsafẹfẹ iyipo. Ibaṣepọ laini laini funmorawon gbogbo awọn igbohunsafẹfẹ dọgbadọgba, ṣe ipalara awọn iwọn igbohunsafẹfẹ giga ti o fi koodu alaye agbegbe to dara. YaRN nlo iṣẹ rampu lati ṣe interpolate nikan awọn iwọn kekere-igbohunsafẹfẹ (gigun-gigun) lakoko ti o tọju awọn iwọn-igbohunsafẹfẹ giga, pẹlu iwọn iwọn otutu akiyesi 1/sqrt (t) ti o jẹ ki imuduro didasilẹ softmax duro bi gigun ọkọọkan dagba. Ọna NTK-nipasẹ-apakan yii faagun ọrọ-ọrọ pẹlu ibajẹ ti o kere pupọ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti YaRN ati Ifaagun Gigun Ọrọ
Ifaagun ọrọ jẹ adaṣe adaṣe ni bayi: awọn awoṣe ṣiṣi nigbagbogbo gbe ọkọ awọn iyatọ ti o gbooro YaRN de awọn ami ami 128K tabi kọja. Iwadi n gbe lọ si awọn ọna ti o fa ipo-ọrọ pẹlu odo tabi isunmọ-odo-tuntun-tuntun-odo, darapọ atunṣe RoPE pẹlu awọn ẹtan akiyesi-apẹẹrẹ, ati ṣetọju didara kọja ferese kikun ju awọn opin nikan lọ. Reti isọpọ timọra ti awọn imọ-ẹrọ wọnyi sinu ikẹkọ iṣaju ki ọrọ igba pipẹ jẹ abinibi dipo ki o tun ṣe.
Real-World imuse
Fifẹ awoṣe ọrọ-ọrọ 4K ṣiṣi si 32K tabi 128K fun idahun ibeere iwe-gigun pẹlu atunṣe itanran kukuru
Ṣiṣe awọn ọna ṣiṣe imupadabọ-pada si mimu ọpọlọpọ awọn aye ti o ni asopọ laisi gige.
Awọn oluranlọwọ koodu agbara ti o nilo gbogbo faili ibi ipamọ nla kan tabi awọn faili lọpọlọpọ ni kiakia kan
Aṣamubadọgba awoṣe ipilẹ fun awọn ibaraẹnisọrọ ọpọlọpọ-yii gigun ti o ṣajọpọ awọn itan-akọọlẹ iwiregbe nla
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the YaRN and Context Length Extension quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Interpolation ipo fun Itẹsiwaju Ọrọ
Awọn ibeere ti a beere nigbagbogbo
What is YaRN and Context Length Extension?
YaRN (Sibẹsi afikun RoPE extensioN) jẹ ilana imunadoko fun ninà ferese ọrọ igba elo awoṣe kan ti o jinna ju ohun ti o ti kọ lori. O fi ọgbọn ṣe atunṣe awọn ifibọ ipo rotari nitorinaa awoṣe ti oṣiṣẹ lori, sọ, awọn ami-ami 4K le mu 32K tabi diẹ sii pẹlu iṣatunṣe didara to kere julọ.
Ọna fifi koodu ipo wo ni YaRN ṣe atunṣe lati fa ọrọ-ọrọ gbooro sii?
YaRN, ẹniti orukọ rẹ tumọ si Sibẹsibẹ afikun RoPE miiran, ṣe atunṣe awọn ifibọ ipo iyipo ti a lo ninu ọpọlọpọ awọn LLMs ode oni.
Kini aṣiṣe nigbati awoṣe RoPE kan rii awọn ilana to gun ju ipari ikẹkọ rẹ lọ?
Awọn ipo ti o kọja ikẹkọ ṣe agbejade awọn igun iyipo ti awoṣe ko rii, nitorinaa ihuwasi akiyesi dinku ni didasilẹ.
Bawo ni YaRN ṣe tọju awọn iwọn igbohunsafẹfẹ RoPE oriṣiriṣi?
YaRN nlo rampu NTK-nipasẹ-awọn apakan ti o ṣe agbedemeji gigun-gigun awọn dims kekere-igbohunsafẹfẹ ati fi oju kukuru-ibiti o ga-igbohunsafẹfẹ dims okeene mule.
Yato si awọn igbohunsafẹfẹ atunṣe, atunṣe afikun wo ni YaRN lo?
YaRN ṣafikun iwọn otutu iwọn otutu si awọn logits akiyesi lati koju awọn iyipada entropy ti o waye bi ọrọ-ọrọ ti ndagba.
Kini anfani ilowo bọtini kan ti YaRN lori interpolation alaigbọran?
YaRN ṣaṣeyọri didara ọrọ-ọrọ gigun to lagbara lẹhin titunṣe-itanran lori ida kekere kan ti awọn ọna aimọkan data nilo.