ALiBi Ipo Iyatọ
ALiBi (Ifarabalẹ pẹlu Awọn Ibajẹ Linear) jẹ ọna onilàkaye lati fun awọn oluyipada ni oye ti aṣẹ ọrọ laisi awọn ifibọ ipo ibile.
Akopọ
It lets a model trained on short text handle much longer inputs at inference time.
Jin Dive
Awọn oluyipada ko ni imọ-itumọ ti aṣẹ-ọrọ, nitorinaa wọn nilo ọna lati fi koodu koodu sii. Ọna Ayebaye n ṣe afikun awọn ifibọ ipo si awọn adaṣe ami. ALiBi, ti a ṣe nipasẹ Tẹ, Smith, ati Lewis ni ọdun 2021, da awọn wọnyẹn jade patapata. Dipo, o nudge awọn ikun akiyesi taara: nigbati ami ibeere kan ba wo ami ami bọtini kan, ALiBi yọkuro ijiya kan ni ibamu si aaye laarin wọn. Awọn ami-ami ti o jinna si gba ijiya nla kan, nitorinaa awoṣe nipa ti fẹran ipo ti o wa nitosi. Ori akiyesi kọọkan gba ite ijiya ti o wa titi tirẹ, nitorinaa diẹ ninu awọn olori wo ni agbegbe lakoko ti awọn miiran rii siwaju. Nitori irẹjẹ jẹ iṣẹ ti ijinna nikan, ALiBi ṣe afikun oore-ọfẹ si awọn ilana ti o gun ju awọn ti a rii ni ikẹkọ.
Imọ-imọ-ẹrọ
Fun ibeere kan ni ipo i ati bọtini ni ipo j, ALiBi ṣe afikun m * (j - i) si Dimegilio akiyesi aise ṣaaju softmax, nibiti m jẹ igbagbogbo-ori kan (awọn oke ti n ṣe ilana jiometirika bi 1/2, 1/4, 1/8). Niwọn igba ti j kere ju tabi dọgba si i ni akiyesi idi, ọrọ yii jẹ odo tabi odi, ijiya awọn ami ti o jinna. Ko si awọn aye-ẹkọ ti o kọ ẹkọ ati pe ko si awọn ifibọ ti a ṣafikun, nitorinaa oke nikan ni matrix abosi ti iṣaaju.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti ALiBi Ipo Iyatọ
ALiBi ṣe afihan pe ibatan, awọn aibikita ti o da lori ijinna lu awọn ifibọ ipo pipe fun gbogbogbo gigun, ati pe imọran yẹn ni bayi ni inu apẹrẹ ọrọ-ọrọ gigun ode oni. Diẹ ninu awọn awoṣe aipẹ ṣe ojurere awọn ifibọ rotari (RoPE) dipo, ṣugbọn ALiBi jẹ olokiki nibiti o ṣe pataki afikun afikun ati pe a lo ninu awọn awoṣe bii BLOOM ati MPT. Reti idanwo arabara ti o tẹsiwaju, apapọ awọn aiṣedeede ijinna pẹlu iwọn RoPE, bi awọn ile-iṣọ Titari awọn ferese agbegbe si awọn miliọnu awọn ami-ami laisi ikẹkọ lati ibere.
Real-World imuse
Ikẹkọ iwiregbebot kan lori awọn apẹẹrẹ ami-ami 1,024 ṣugbọn gbigbe lọ sori awọn iwe aṣẹ ami-ami 4,096 laisi ikẹkọ, ti o da lori afikun ALiBi.
Awoṣe multilingual BLOOM 176B, eyiti o gba ALiBi fun mimu ipo rẹ.
Awọn awoṣe MPT ti MosaicML, eyiti o lo ALiBi lati polowo ni imunadoko ipari ọrọ-ọrọ ailopin ni itọkasi.
Akopọ awọn iwe adehun ofin gigun ti o kọja ipari ikẹkọ atilẹba ti awoṣe, nibiti ojuṣaaju-ọrọ ti o wa nitosi jẹ ki akiyesi ni ibamu.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ALiBi Position Bias quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Interpolation ipo fun Itẹsiwaju Ọrọ
Awọn ibeere ti a beere nigbagbogbo
What is ALiBi Position Bias?
ALiBi (Ifarabalẹ pẹlu Awọn Ibajẹ Linear) jẹ ọna onilàkaye lati fun awọn oluyipada ni oye ti aṣẹ ọrọ laisi awọn ifibọ ipo ibile. O jẹ ki awoṣe ti ikẹkọ lori ọrọ kukuru mu awọn igbewọle gigun pupọ ni akoko itọkasi.
Kini ALiBi duro fun?
ALiBi jẹ kukuru fun Ifarabalẹ pẹlu Awọn Iwaju Laini, ti a darukọ fun ijiya laini ti o ṣe afikun si awọn ikun akiyesi.
Bawo ni ALiBi ṣe jẹ ijiya awọn ami ti o jinna?
ALiBi yọkuro iye kan ni ibamu si ijinna bọtini ibeere lati Dimegilio akiyesi, nitorinaa awọn ami ti o jinna ni iwuwo diẹ.
Kini anfani ilowo ti ALiBi ṣe ayẹyẹ julọ?
Nitoripe ojuṣaaju da lori ijinna nikan, awọn awoṣe ikẹkọ lori awọn ọna kukuru le mu awọn ti o gun pupọ ni akoko itọkasi.
Kini iyatọ nipa aiṣedeede laini kọja awọn ori akiyesi?
ALiBi fun ori kọọkan ni pato, oke ti o wa titi (fun apẹẹrẹ, 1/2, 1/4, 1/8), nitorina awọn olori oriṣiriṣi wa ni awọn sakani oriṣiriṣi.
Ti a ṣe afiwe si awọn ifibọ ipo ibilẹ, ALiBi ṣafikun melo ni awọn aye ti kọ ẹkọ?
ALiBi ṣafihan ko si awọn ipilẹ ẹkọ tuntun; awọn fun-ori oke ni o wa predetermined ibakan.