Imọ Itọsọna

YaRN ati Itẹsiwaju Gigun Ọrọ

YaRN (Sibẹsi afikun RoPE extensioN) jẹ ilana imunadoko fun ninà ferese ọrọ igba elo awoṣe kan ti o jinna ju ohun ti o ti kọ lori.

Akopọ

YaRN (Sibẹsi afikun RoPE extensioN) jẹ ilana imunadoko fun ninà ferese ọrọ igba elo awoṣe kan ti o jinna ju ohun ti o ti kọ lori. O fi ọgbọn ṣe atunṣe awọn ifibọ ipo rotari nitorinaa awoṣe ti oṣiṣẹ lori, sọ, awọn ami-ami 4K le mu 32K tabi diẹ sii pẹlu iṣatunṣe didara to kere julọ.

YaRN ati Ifaagun Gigun Ọrọ jẹ bulọọki ile imọ-ẹrọ ti o ni ipa lori didara awoṣe, idiyele amayederun, lairi, ati igbẹkẹle ni iwọn.

Jin Dive

Pupọ LLM ti ode oni ṣe koodu awọn ipo ami pẹlu RoPE (Awọn ifibọ ipo Iyipo), eyiti o yi ibeere ati awọn ipadabọ bọtini nipasẹ awọn igun ti a so si ipo. Nigbati o ba ifunni awọn ilana to gun ju ipari ikẹkọ lọ, awọn iyipo wọnyi wọ awọn sakani ti a ko rii ati awoṣe naa fọ. YaRN, ti a ṣe ni 2023 nipasẹ Bowen Peng ati awọn alabaṣiṣẹpọ, ṣe atunṣe eyi pẹlu NTK-mọ interpolation ti a lo fun igbohunsafẹfẹ: o fi awọn iwọn igbohunsafẹfẹ giga silẹ (eyiti o gba agbegbe, awọn ibatan kukuru kukuru) ti a ko fọwọkan lakoko ti o n ṣe agbero awọn iwọn-igbohunsafẹfẹ kekere (eyiti o tọpa ipo gigun-gun). YaRN tun ṣe afikun atunṣe iwọn otutu si akiyesi lati koju awọn iyipada entropy ti o wa lati awọn aaye to gun. Abajade jẹ iṣẹ-ọrọ-gun ti o lagbara lẹhin titun-tunse lori ida kekere kan ti data ati awọn igbesẹ ti awọn isunmọ aimọkan nilo.

Imọ-imọ-ẹrọ

RoPE ṣe ipin iwọn ifisinu kọọkan ni igbohunsafẹfẹ iyipo. Ibaṣepọ laini laini funmorawon gbogbo awọn igbohunsafẹfẹ dọgbadọgba, ṣe ipalara awọn iwọn igbohunsafẹfẹ giga ti o fi koodu alaye agbegbe to dara. YaRN nlo iṣẹ rampu lati ṣe interpolate nikan awọn iwọn kekere-igbohunsafẹfẹ (gigun-gigun) lakoko ti o tọju awọn iwọn-igbohunsafẹfẹ giga, pẹlu iwọn iwọn otutu akiyesi 1/sqrt (t) ti o jẹ ki imuduro didasilẹ softmax duro bi gigun ọkọọkan dagba. Ọna NTK-nipasẹ-apakan yii faagun ọrọ-ọrọ pẹlu ibajẹ ti o kere pupọ.

Titunto si YaRN ati Ifaagun Gigun Ọrọ

YaRN (Sibẹsi afikun RoPE miiran) jẹ ilana imunadoko fun na isan window ọrọ ọrọ ti awoṣe kan ti o jinna ju ohun ti o ti kọ lori. O fi ọgbọn ṣe atunṣe awọn ifibọ ipo rotari nitorinaa awoṣe ti oṣiṣẹ lori, sọ, awọn ami-ami 4K le mu 32K tabi diẹ sii pẹlu isọdọtun ti o kere ju. YaRN ati Ifaagun Gigun Ọrọ jẹ bulọọki ile imọ-ẹrọ ti o ni ipa lori didara awoṣe, idiyele amayederun, lairi, ati igbẹkẹle ni iwọn. Lati kọ oye ti o jinlẹ, tọju YaRN ati Ifaagun Gigun Ọrọ bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣalaye awọn arosọ, ati ya sọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.

Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo YaRN ati Ifaagun Ipari Ipari Atopọ ṣe iṣapeye faaji, data, ati awọn yiyan amayederun lodi si igbẹkẹle ati idiyele. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.

Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun. Ni akoko kanna, Imudara iwọn ala kan le tọju awọn ailagbara eto to gbooro. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.

Ipa Ilana

Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.

Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.

Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.

Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Ọjọ iwaju ti YaRN ati Ifaagun Gigun Ọrọ

Ifaagun ọrọ ọrọ jẹ adaṣe boṣewa ni bayi: awọn awoṣe ṣiṣi nigbagbogbo gbe ọkọ awọn iyatọ ti o gbooro YaRN de awọn ami ami 128K tabi kọja. Iwadi n gbe lọ si awọn ọna ti o fa ipo-ọrọ pẹlu odo tabi isunmọ-odo-tuntun-tuntun-odo, darapọ atunṣe RoPE pẹlu awọn ẹtan akiyesi-apẹẹrẹ, ati ṣetọju didara kọja ferese kikun ju awọn opin nikan lọ. Reti isọdọkan ti o nipọn ti awọn imọ-ẹrọ wọnyi sinu ikẹkọ iṣaju ki ọrọ igba pipẹ jẹ abinibi dipo ki o tun ṣe.

Real-World imuse

Fifẹ awoṣe ọrọ-ọrọ 4K ṣiṣi si 32K tabi 128K fun idahun ibeere iwe-gigun pẹlu atunṣe itanran kukuru

Ṣiṣe awọn ọna ṣiṣe imupadabọ-pada si mimu ọpọlọpọ awọn aye ti o somọ laisi gige.

Awọn oluranlọwọ koodu agbara ti o nilo gbogbo faili ibi-ipamọ nla kan tabi awọn faili lọpọlọpọ ni iyara kan

Didara awoṣe ipilẹ fun awọn ibaraẹnisọrọ olona-pupọ ti o ṣajọpọ awọn itan-akọọlẹ iwiregbe nla

Awọn Ilana imuse

YaRN ati Itẹsiwaju Gigun Ọrọ ni iṣe

Nmu awoṣe ọrọ-ọrọ 4K ti o ṣii si 32K tabi 128K fun idahun ibeere iwe-gigun pẹlu atunṣe itanran kukuru.

Ifilọlẹ awoṣe ọrọ-ọrọ 4K ti o ṣii si 32K tabi 128K fun ibeere iwe-gigun ti o dahun pẹlu awọn ẹgbẹ fifẹ fifẹ finifini nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.

YaRN ati Itẹsiwaju Gigun Ọrọ ni iṣe

Ṣiṣe awọn ọna ṣiṣe imupadabọ-pada si mimu ọpọlọpọ awọn aye ti o ni asopọ laisi gige.

Ṣiṣe awọn eto imupadabọ-pada sipo lati mu ọpọlọpọ awọn ọna asopọ pọ laisi gige awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

YaRN ati Itẹsiwaju Gigun Ọrọ ni iṣe

Awọn oluranlọwọ koodu agbara ti o nilo gbogbo faili ibi-ipamọ nla kan tabi awọn faili lọpọlọpọ ni iyara kan.

Awọn oluranlọwọ koodu agbara ti o nilo gbogbo faili ibi-ipamọ nla tabi awọn faili lọpọlọpọ ni iyara kan Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

YaRN ati Itẹsiwaju Gigun Ọrọ ni iṣe

Didara awoṣe ipilẹ fun awọn ibaraẹnisọrọ olona-pupọ ti o ṣajọpọ awọn itan-akọọlẹ iwiregbe nla.

Aṣamubadọgba awoṣe ipilẹ fun awọn ibaraẹnisọrọ gigun-pupọ ti o ṣajọpọ awọn itan-akọọlẹ iwiregbe nla Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Awọn ewu & Awọn ọna iṣọ

!

Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.

!

Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.

!

Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.

Ilana Ilana imuse

1

Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.

Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

2

Aṣepari labẹ ẹru ojulowo ati awọn ipo data.

Aṣepari labẹ ẹru ojulowo ati awọn ipo data. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

3

Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.

Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

4

Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.

Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

Tesiwaju Ṣiṣawari