Up tókànItọsọna atẹle
Interpolation ipo fun Itẹsiwaju Ọrọ
Èdè AI
Imọ Itọsọna
Interpolation ipo fun Ọrọ Gigun
Interpolation ipo (PI) jẹ ọna ti o rọrun, ti o ni ipa ti o fa ferese ọrọ-ọrọ Transformer kan nipa titẹ awọn atọka ipo tuntun sinu ibiti awoṣe ti mọ tẹlẹ.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Dipo ti extrapolating to unseen awọn ipo, o interpolates laarin oṣiṣẹ eyi, nilo nikan finifini itanran-tunse.
Jin Dive
Iṣafihan nipasẹ awọn oniwadi Meta (Chen et al.) ni 2023, Interpolation Ipo n koju otitọ pe awọn awoṣe pẹlu RoPE kuna ni ajalu nigbati o n ṣe afikun si awọn ipo ti o kọja ikẹkọ. Imọye naa jẹ atako: dipo ki o beere fun awoṣe lati mu awọn ipo ipo ti o tobi ju ti ko tii ri, PI pin awọn itọka ipo ti nwọle nipasẹ ipin iwọn kan ki ipari ibi-afẹde ti, sọ, awọn maapu 8K pada si ibiti 2K atilẹba. Nitoripe awoṣe ti ni ikẹkọ lori iwọn yẹn, awọn iyipo duro ni pinpin. Lẹhin awọn igbesẹ atunṣe-itanran 1,000 kan, awoṣe LLAMA kan gbooro ni ọna yii ti a mu to ipo 32K. Iwe naa fihan pe afikun le fẹ awọn ikun akiyesi si awọn iye nla, lakoko ti interpolation jẹ ki wọn di opin ati iduroṣinṣin, eyiti o jẹ idi ti interpolation n ṣiṣẹ dara julọ dara julọ ju afikun.
Real-World imuse
Fidiẹ awoṣe LLAMA-ọrọ-2K kan lati mu awọn ami ami 8K-32K pẹlu bii awọn igbesẹ atunṣe-daradara 1,000
Aṣamubadọgba awoṣe iwiregbe ti o wa tẹlẹ fun akopọ iwe-gigun laisi ikẹkọ lati ibere
Ṣiṣẹ bi ipilẹ ero ti NTK-mọ igbelosoke ati YaRN ni ilọsiwaju lori
Muu koodu ọrọ-igba pipẹ ṣiṣẹ tabi itupalẹ iwe-ofin lori awọn awoṣe akọkọ ti oṣiṣẹ pẹlu awọn ferese kukuru
Ojo iwaju ti Interpolation ipo fun Ọrọ Gigun
Interpolation ipo di ipile fun igbi ti awọn atẹle, pẹlu iwọn NTK-mọ ati YaRN, eyiti o ṣe agbedemeji ni yiyan diẹ sii lati tọju alaye agbegbe. Itọpa naa wa si awọn ọna ti o nilo diẹ tabi ko si atunṣe-itanran ati si yiyan mimu ọrọ-ọrọ gigun sinu ikẹkọ iṣaaju. PI jẹ ipilẹ ipilẹ ti o niyelori ati nigbagbogbo ni idapo pẹlu awọn ero igbohunsafẹfẹ-imọ tuntun lati de 128K-plus awọn window ti o tọ daradara.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Positional Interpolation for Long Context quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Positional Interpolation fun Long Context?
Interpolation ipo (PI) jẹ ọna ti o rọrun, ti o ni ipa ti o fa ferese ọrọ-ọrọ Transformer kan nipa titẹ awọn atọka ipo tuntun sinu ibiti awoṣe ti mọ tẹlẹ. Dípò yíyanfẹ́fẹ̀ẹ́ sí àwọn ipò tí a kò lè rí, ó ń bá àwọn tí a ti dá lẹ́kọ̀ọ́ lọ́nà, ó ń béèrè àtúnṣe kúkúrú.
Kini ero pataki lẹhin Interpolation Ipo?
PI pin awọn itọka ipo nipasẹ ifosiwewe iwọnwọn ki awọn ilana to gun ṣe maapu pada si iwọn ipo ikẹkọ, titọju awọn iyipo ni pinpin.
Kini idi ti isọdi aimọkan si awọn ipo to gun kuna?
Iwe PI ṣe afihan awọn ipo nla ti a ko rii le ṣe agbejade awọn iṣiro akiyesi awọn ibere ti titobi ti o tobi ju ikẹkọ, destabilizing softmax.
Ni aijọju bawo ni iṣatunṣe itanran ti iṣẹ PI atilẹba nilo lati fa LLAMA si 32K?
Iwe naa royin pe ni ayika 1,000 awọn igbesẹ atunṣe-itanran ti to lati faagun ọrọ-ọrọ to awọn ami-ami 32K.
Ti o ba faagun ọrọ-ọrọ nipasẹ ifosiwewe s, bawo ni PI ṣe yipada ipo m?
PI rescales ipo m to m/s, compressing titun ti o tobi ibiti o sinu atilẹba oṣiṣẹ ibiti.
Bawo ni PI ṣe ni ipa awọn ọna nigbamii bi YaRN?
PI ti iṣeto interpolation bi ailewu ona; NTK-mọ igbelosoke ati YaRN refaini nipasẹ interpolating awọn igbohunsafẹfẹ diẹ sii yiyan.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii