Akopọ
YaRN (Sibẹsi afikun RoPE extensioN) jẹ ilana imunadoko fun ninà ferese ọrọ igba elo awoṣe kan ti o jinna ju ohun ti o ti kọ lori. O fi ọgbọn ṣe atunṣe awọn ifibọ ipo rotari nitorinaa awoṣe ti oṣiṣẹ lori, sọ, awọn ami-ami 4K le mu 32K tabi diẹ sii pẹlu iṣatunṣe didara to kere julọ.
YaRN ati Ifaagun Gigun Ọrọ jẹ bulọọki ile imọ-ẹrọ ti o ni ipa lori didara awoṣe, idiyele amayederun, lairi, ati igbẹkẹle ni iwọn.
Jin Dive
Pupọ LLM ti ode oni ṣe koodu awọn ipo ami pẹlu RoPE (Awọn ifibọ ipo Iyipo), eyiti o yi ibeere ati awọn ipadabọ bọtini nipasẹ awọn igun ti a so si ipo. Nigbati o ba ifunni awọn ilana to gun ju ipari ikẹkọ lọ, awọn iyipo wọnyi wọ awọn sakani ti a ko rii ati awoṣe naa fọ. YaRN, ti a ṣe ni 2023 nipasẹ Bowen Peng ati awọn alabaṣiṣẹpọ, ṣe atunṣe eyi pẹlu NTK-mọ interpolation ti a lo fun igbohunsafẹfẹ: o fi awọn iwọn igbohunsafẹfẹ giga silẹ (eyiti o gba agbegbe, awọn ibatan kukuru kukuru) ti a ko fọwọkan lakoko ti o n ṣe agbero awọn iwọn-igbohunsafẹfẹ kekere (eyiti o tọpa ipo gigun-gun). YaRN tun ṣe afikun atunṣe iwọn otutu si akiyesi lati koju awọn iyipada entropy ti o wa lati awọn aaye to gun. Abajade jẹ iṣẹ-ọrọ-gun ti o lagbara lẹhin titun-tunse lori ida kekere kan ti data ati awọn igbesẹ ti awọn isunmọ aimọkan nilo.
Imọ-imọ-ẹrọ
RoPE ṣe ipin iwọn ifisinu kọọkan ni igbohunsafẹfẹ iyipo. Ibaṣepọ laini laini funmorawon gbogbo awọn igbohunsafẹfẹ dọgbadọgba, ṣe ipalara awọn iwọn igbohunsafẹfẹ giga ti o fi koodu alaye agbegbe to dara. YaRN nlo iṣẹ rampu lati ṣe interpolate nikan awọn iwọn kekere-igbohunsafẹfẹ (gigun-gigun) lakoko ti o tọju awọn iwọn-igbohunsafẹfẹ giga, pẹlu iwọn iwọn otutu akiyesi 1/sqrt (t) ti o jẹ ki imuduro didasilẹ softmax duro bi gigun ọkọọkan dagba. Ọna NTK-nipasẹ-apakan yii faagun ọrọ-ọrọ pẹlu ibajẹ ti o kere pupọ.
Titunto si YaRN ati Ifaagun Gigun Ọrọ
YaRN (Sibẹsi afikun RoPE miiran) jẹ ilana imunadoko fun na isan window ọrọ ọrọ ti awoṣe kan ti o jinna ju ohun ti o ti kọ lori. O fi ọgbọn ṣe atunṣe awọn ifibọ ipo rotari nitorinaa awoṣe ti oṣiṣẹ lori, sọ, awọn ami-ami 4K le mu 32K tabi diẹ sii pẹlu isọdọtun ti o kere ju. YaRN ati Ifaagun Gigun Ọrọ jẹ bulọọki ile imọ-ẹrọ ti o ni ipa lori didara awoṣe, idiyele amayederun, lairi, ati igbẹkẹle ni iwọn. Lati kọ oye ti o jinlẹ, tọju YaRN ati Ifaagun Gigun Ọrọ bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣalaye awọn arosọ, ati ya sọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.
Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo YaRN ati Ifaagun Ipari Ipari Atopọ ṣe iṣapeye faaji, data, ati awọn yiyan amayederun lodi si igbẹkẹle ati idiyele. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun. Ni akoko kanna, Imudara iwọn ala kan le tọju awọn ailagbara eto to gbooro. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.
Ipa Ilana
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Real-World imuse
Fifẹ awoṣe ọrọ-ọrọ 4K ṣiṣi si 32K tabi 128K fun idahun ibeere iwe-gigun pẹlu atunṣe itanran kukuru
Ṣiṣe awọn ọna ṣiṣe imupadabọ-pada si mimu ọpọlọpọ awọn aye ti o somọ laisi gige.
Awọn oluranlọwọ koodu agbara ti o nilo gbogbo faili ibi-ipamọ nla kan tabi awọn faili lọpọlọpọ ni iyara kan
Didara awoṣe ipilẹ fun awọn ibaraẹnisọrọ olona-pupọ ti o ṣajọpọ awọn itan-akọọlẹ iwiregbe nla
Awọn Ilana imuse
YaRN ati Itẹsiwaju Gigun Ọrọ ni iṣe
Nmu awoṣe ọrọ-ọrọ 4K ti o ṣii si 32K tabi 128K fun idahun ibeere iwe-gigun pẹlu atunṣe itanran kukuru.
Ifilọlẹ awoṣe ọrọ-ọrọ 4K ti o ṣii si 32K tabi 128K fun ibeere iwe-gigun ti o dahun pẹlu awọn ẹgbẹ fifẹ fifẹ finifini nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.
YaRN ati Itẹsiwaju Gigun Ọrọ ni iṣe
Ṣiṣe awọn ọna ṣiṣe imupadabọ-pada si mimu ọpọlọpọ awọn aye ti o ni asopọ laisi gige.
Ṣiṣe awọn eto imupadabọ-pada sipo lati mu ọpọlọpọ awọn ọna asopọ pọ laisi gige awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.
YaRN ati Itẹsiwaju Gigun Ọrọ ni iṣe
Awọn oluranlọwọ koodu agbara ti o nilo gbogbo faili ibi-ipamọ nla kan tabi awọn faili lọpọlọpọ ni iyara kan.
Awọn oluranlọwọ koodu agbara ti o nilo gbogbo faili ibi-ipamọ nla tabi awọn faili lọpọlọpọ ni iyara kan Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.
YaRN ati Itẹsiwaju Gigun Ọrọ ni iṣe
Didara awoṣe ipilẹ fun awọn ibaraẹnisọrọ olona-pupọ ti o ṣajọpọ awọn itan-akọọlẹ iwiregbe nla.
Aṣamubadọgba awoṣe ipilẹ fun awọn ibaraẹnisọrọ gigun-pupọ ti o ṣajọpọ awọn itan-akọọlẹ iwiregbe nla Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.