Up tókànItọsọna atẹle
Interpolation ipo fun Itẹsiwaju Ọrọ
Èdè AI
Imọ Itọsọna
YaRN ati Itẹsiwaju Gigun Ọrọ
YaRN (Sibẹsi afikun RoPE extensioN) jẹ ilana imunadoko fun ninà ferese ọrọ igba elo awoṣe kan ti o jinna ju ohun ti o ti kọ lori.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
Jin Dive
Pupọ LLM ti ode oni ṣe koodu awọn ipo ami pẹlu RoPE (Awọn ifibọ ipo Iyipo), eyiti o yi ibeere ati awọn ipadabọ bọtini nipasẹ awọn igun ti a so si ipo. Nigbati o ba ifunni awọn ilana to gun ju ipari ikẹkọ lọ, awọn iyipo wọnyi wọ awọn sakani ti a ko rii ati awoṣe naa fọ. YaRN, ti a ṣe ni 2023 nipasẹ Bowen Peng ati awọn alabaṣiṣẹpọ, ṣe atunṣe eyi pẹlu NTK-mọ interpolation ti a lo fun igbohunsafẹfẹ: o fi awọn iwọn igbohunsafẹfẹ giga silẹ (eyiti o gba agbegbe, awọn ibatan kukuru kukuru) ti a ko fọwọkan lakoko ti o n ṣe agbero awọn iwọn-igbohunsafẹfẹ kekere (eyiti o tọpa ipo gigun-gun). YaRN tun ṣe afikun atunṣe iwọn otutu si akiyesi lati koju awọn iyipada entropy ti o wa lati awọn aaye to gun. Abajade jẹ iṣẹ-ọrọ-gun ti o lagbara lẹhin titun-tunse lori ida kan nikan ti data ati awọn igbesẹ ti awọn isunmọ aimọkan nilo.
Real-World imuse
Fifẹ awoṣe ọrọ-ọrọ 4K ṣiṣi si 32K tabi 128K fun idahun ibeere iwe-gigun pẹlu atunṣe itanran kukuru
Ṣiṣe awọn ọna ṣiṣe imupadabọ-pada si mimu ọpọlọpọ awọn aye ti o ni asopọ laisi gige.
Awọn oluranlọwọ koodu agbara ti o nilo gbogbo faili ibi ipamọ nla kan tabi awọn faili lọpọlọpọ ni kiakia kan
Aṣamubadọgba awoṣe ipilẹ fun awọn ibaraẹnisọrọ ọpọlọpọ-yii gigun ti o ṣajọpọ awọn itan-akọọlẹ iwiregbe nla
Ọjọ iwaju ti YaRN ati Ifaagun Gigun Ọrọ
Ifaagun ọrọ jẹ adaṣe adaṣe ni bayi: awọn awoṣe ṣiṣi nigbagbogbo gbe ọkọ awọn iyatọ ti o gbooro YaRN de awọn ami ami 128K tabi kọja. Iwadi n gbe lọ si awọn ọna ti o fa ipo-ọrọ pẹlu odo tabi isunmọ-odo-tuntun-tuntun-odo, darapọ atunṣe RoPE pẹlu awọn ẹtan akiyesi-apẹẹrẹ, ati ṣetọju didara kọja ferese kikun ju awọn opin nikan lọ. Reti isọpọ timọra ti awọn imọ-ẹrọ wọnyi sinu ikẹkọ iṣaju ki ọrọ igba pipẹ jẹ abinibi dipo ki o tun ṣe.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the YaRN and Context Length Extension quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is YaRN and Context Length Extension?
YaRN (Sibẹsi afikun RoPE extensioN) jẹ ilana imunadoko fun ninà ferese ọrọ igba elo awoṣe kan ti o jinna ju ohun ti o ti kọ lori. O fi ọgbọn ṣe atunṣe awọn ifibọ ipo rotari nitorinaa awoṣe ti oṣiṣẹ lori, sọ, awọn ami-ami 4K le mu 32K tabi diẹ sii pẹlu iṣatunṣe didara to kere julọ.
Ọna fifi koodu ipo wo ni YaRN ṣe atunṣe lati fa ọrọ-ọrọ gbooro sii?
YaRN, ẹniti orukọ rẹ tumọ si Sibẹsibẹ afikun RoPE miiran, ṣe atunṣe awọn ifibọ ipo iyipo ti a lo ninu ọpọlọpọ awọn LLMs ode oni.
Kini aṣiṣe nigbati awoṣe RoPE kan rii awọn ilana to gun ju ipari ikẹkọ rẹ lọ?
Awọn ipo ti o kọja ikẹkọ ṣe agbejade awọn igun iyipo ti awoṣe ko rii, nitorinaa ihuwasi akiyesi dinku ni didasilẹ.
Bawo ni YaRN ṣe tọju awọn iwọn igbohunsafẹfẹ RoPE oriṣiriṣi?
YaRN nlo rampu NTK-nipasẹ-awọn apakan ti o ṣe agbedemeji gigun-gigun awọn dims kekere-igbohunsafẹfẹ ati fi oju kukuru-ibiti o ga-igbohunsafẹfẹ dims okeene mule.
Yato si awọn igbohunsafẹfẹ atunṣe, atunṣe afikun wo ni YaRN lo?
YaRN ṣafikun iwọn otutu iwọn otutu si awọn logits akiyesi lati koju awọn iyipada entropy ti o waye bi ọrọ-ọrọ ti ndagba.
Kini anfani ilowo bọtini kan ti YaRN lori interpolation alaigbọran?
YaRN ṣaṣeyọri didara ọrọ-ọrọ gigun to lagbara lẹhin titunṣe-itanran lori ida kekere kan ti awọn ọna aimọkan data nilo.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii