Upendeleo wa Nafasi ya ALiBi
ALiBi (Makini na Upendeleo wa Mistari) ni njia ya busara ya kuwapa transfoma hisia ya mpangilio wa maneno bila upachikaji wa nafasi za kitamaduni.
Muhtasari
It lets a model trained on short text handle much longer inputs at inference time.
Dive ya kina
Transfoma hazina dhana iliyojengewa ndani ya mpangilio wa maneno, kwa hivyo zinahitaji njia ya kusimba nafasi. Mbinu ya kawaida inaongeza upachikaji wa nafasi kwa vekta za ishara. ALiBi, iliyoletwa na Press, Smith, na Lewis mnamo 2021, inazitupa nje kabisa. Badala yake, inagusa alama za tahadhari moja kwa moja: wakati ishara ya hoja inapotazama ishara muhimu, ALiBi inaondoa adhabu sawia na umbali kati yao. Ishara ambazo ziko mbali hupata adhabu kubwa, kwa hivyo mfano hupendelea muktadha wa karibu. Kila kichwa cha tahadhari hupata mteremko wake maalum wa adhabu, kwa hivyo baadhi ya vichwa hutazama ndani huku vingine vikiona mbali zaidi. Kwa sababu upendeleo ni utendaji tu wa umbali, ALiBi inaongeza kwa uzuri kwa mlolongo mrefu zaidi kuliko ule unaoonekana kwenye mafunzo.
Ufahamu wa Kiufundi
Kwa hoja katika nafasi i na ufunguo katika nafasi j, ALiBi inaongeza m * (j - i) kwa alama ghafi ya umakini kabla ya softmax, ambapo m ni kichwa mahususi kisichobadilika (miteremko huunda mfuatano wa kijiometri kama 1/2, 1/4, 1/8). Kwa kuwa j ni chini ya au sawa na i katika tahadhari ya causal, neno hili ni sifuri au hasi, kuadhibu tokeni za mbali. Hakuna vigezo vilivyojifunza na hakuna upachikaji unaoongezwa, kwa hivyo sehemu ya juu pekee ni matrix ya upendeleo iliyokadiriwa.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Upendeleo wa Nafasi ya ALiBi
ALiBi ilithibitisha kuwa upendeleo wa jamaa, wa msingi wa umbali unashinda upachikaji wa nafasi kamili kwa ujanibishaji wa urefu, na wazo hilo sasa linapenya muundo wa kisasa wa muktadha mrefu. Baadhi ya miundo ya hivi majuzi inapendelea upachikaji wa mzunguko (RoPE) badala yake, lakini ALiBi inasalia kuwa maarufu ambapo uwasilishaji uliokithiri ni muhimu na ilitumika katika miundo kama vile BLOOM na MPT. Tarajia majaribio ya mseto yanayoendelea, ukichanganya mapendeleo ya umbali na kuongeza kwa RoPE, kwani maabara husukuma madirisha ya muktadha kuelekea mamilioni ya tokeni bila kujizoeza tena kutoka mwanzo.
Utekelezaji wa Ulimwengu Halisi
Kufunza chatbot juu ya mifano ya ishara 1,024 lakini kupeleka kwenye hati za ishara 4,096 bila mafunzo tena, kwa kutegemea nyongeza ya ALiBi.
Muundo wa lugha nyingi wa BLOOM 176B, ambao ulipitisha ALiBi kwa kushughulikia nafasi zake.
Mitindo ya MPT ya MosaicML, ambayo ilitumia ALiBi kutangaza kwa ufanisi urefu usio na kikomo wa muktadha kwa makisio.
Kufupisha mikataba mirefu ya kisheria inayozidi urefu wa mafunzo asilia wa modeli, ambapo upendeleo wa muktadha wa karibu huweka umakinifu.
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ALiBi Position Bias quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Ufafanuzi wa Nafasi kwa Kiendelezi cha Muktadha
Maswali yanayoulizwa mara kwa mara
What is ALiBi Position Bias?
ALiBi (Makini na Upendeleo wa Mistari) ni njia ya busara ya kuwapa transfoma hisia ya mpangilio wa maneno bila upachikaji wa nafasi za kitamaduni. Huruhusu kielelezo kilichofunzwa juu ya maandishi mafupi kushughulikia ingizo refu zaidi kwa wakati wa uelekezaji.
ALiBi inasimamia nini?
ALiBi ni kifupi cha Attention with Linear Biases, iliyopewa jina la adhabu ya mstari ambayo huongeza kwa alama za umakini.
ALiBi inaadhibu vipi tokeni za mbali?
ALiBi huondoa thamani sawia na umbali wa ufunguo wa hoja kutoka kwa alama ya umakini, ili tokeni za mbali zipate uzito mdogo.
Je, ni faida gani ya vitendo inayoadhimishwa zaidi ya ALiBi?
Kwa sababu upendeleo hutegemea umbali tu, mifano iliyofunzwa kwenye mlolongo mfupi inaweza kushughulikia ndefu zaidi kwa wakati wa uelekezaji.
Ni nini tofauti kuhusu upendeleo wa mstari kwenye vichwa vya umakini?
ALiBi hupeana kila kichwa mteremko tofauti na usiobadilika (k.m., 1/2, 1/4, 1/8), kwa hivyo vichwa tofauti huhudhuria katika safu tofauti.
Ikilinganishwa na upachikaji wa nafasi za kitamaduni, ALiBi inaongeza vigezo vingapi vya kujifunza?
ALiBi inatanguliza hakuna vigezo vipya vilivyojifunza; miteremko ya kila-kichwa imeamuliwa mapema.