Kurekebisha kiambishi awali
Urekebishaji wa kiambishi awali ni njia bora ya kigezo ya kurekebisha modeli ya lugha iliyogandishwa kwa kufunza seti ndogo ya vivekta vinavyoendelea ambavyo hutanguliwa na ingizo la kila safu.
Muhtasari
It lets you customize giant models for new tasks while updating less than 1% of parameters.
Dive ya kina
Urekebishaji wa kiambishi awali, ulianzishwa na watafiti wa Stanford Li na Liang mnamo 2021, hubadilisha kibadilishaji kilichofunzwa bila kugusa uzani wake. Badala ya kupanga vyema vigezo vyote, hutayarisha mlolongo wa 'ishara pepe' zinazoweza kufunzwa (kiambishi awali) kwa vitufe na thamani katika kila safu ya uangalizi. Muundo uliogandishwa hushughulikia kiambishi awali hiki kana kwamba ni muktadha halisi, ikielekeza tabia yake kuelekea kazi inayolengwa. Kwa sababu vekta za kiambishi awali pekee ndizo hujifunza, unaweza kuhifadhi kiambishi awali kidogo kwa kila kazi badala ya nakala kamili ya mfano. Hii hufanya huduma nyingi kuwa nafuu na huepuka uboreshaji wa uhifadhi wa urekebishaji kamili. Hufanya kazi vyema hasa kwenye kazi za uzalishaji kama vile jedwali-kwa-maandishi na muhtasari, mara nyingi hulingana na urekebishaji kamili katika mipangilio ya data ya juu.
Ufahamu wa Kiufundi
Tofauti na urekebishaji wa haraka, ambao huongeza vekta pekee kwenye safu ya upachikaji wa ingizo, urekebishaji wa kiambishi awali huingiza vekta za vitufe/thamani zinazoweza kufunzwa katika umakinifu wa kila safu ya kibadilishaji. Ili kuleta uthabiti wa mafunzo, kiambishi awali hutolewa na mtandao mdogo wa kusambaza mlisho (hila ya urekebishaji upya) badala ya kuboreshwa moja kwa moja; mtandao huo hutupwa baada ya mafunzo, na kuacha tu viambishi awali vilivyofunzwa. Vigezo hivi vya kiambishi awali pekee ndivyo hupokea gradient—uti wa mgongo wote hubakia kuganda.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Urekebishaji wa kiambishi awali
Urekebishaji wa kiambishi awali ulisaidia kuzindua wimbi la urekebishaji vizuri wa kigezo (PEFT) na kubaki kuwa kizuizi katika maktaba kama vile Hugging Face PEFT. Miundo msingi inapokua na kuwa mamia ya mabilioni ya vigezo, adapta nyepesi kama vile viambishi awali zinazidi kuvutia kwa huduma za wapangaji wengi na kuweka mapendeleo kwenye kifaa. Tarajia mbinu mseto zinazoendelea zinazochanganya viambishi awali na masasisho ya hali ya chini ya mtindo wa LoRA, na matumizi yanayoongezeka katika kudhibiti mtindo, utu na tabia ya usalama bila kuzoeza upya miundo yote.
Utekelezaji wa Ulimwengu Halisi
Kurekebisha uti wa mgongo wa GPT-2 uliogandishwa kwa utengenezaji wa jedwali hadi maandishi kwa kufunza kiambishi awali kidogo kwenye hifadhidata ya WebNLG.
Inahudumia mitindo kadhaa ya muhtasari wa mteja mahususi kutoka kwa muundo mmoja unaoshirikiwa, kila moja kama faili ya kiambishi inayoweza kubadilishwa.
Kusimamia sauti ya modeli ya lugha au mtu kwa chatbot bila kuzoeza upya uzito msingi
Urekebishaji wa kikoa cha data ya chini, kama vile uundaji wa maandishi ya kisheria au ya matibabu, ambapo urekebishaji kamili unaweza kupita kiasi
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prefix Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Kukataliwa Sampuli Fine-Tuning
Maswali yanayoulizwa mara kwa mara
What is Prefix Tuning?
Urekebishaji wa kiambishi awali ni njia bora ya kigezo ya kurekebisha modeli ya lugha iliyogandishwa kwa kufunza seti ndogo ya vivekta vinavyoendelea ambavyo hutanguliwa na ingizo la kila safu. Inakuruhusu kubinafsisha miundo mikubwa kwa kazi mpya huku ukisasisha chini ya 1% ya vigezo.
Upangaji kiambishi awali hufunza nini hasa?
Urekebishaji wa kiambishi awali husimamisha uti wa mgongo na hujifunza seti ndogo tu ya vivekta vya kiambishi awali, na kuifanya kuwa na vigezo.
Vekta za kiambishi awali hudungwa wapi?
Urekebishaji wa kiambishi awali hutayarisha vekta za vitufe/thamani zinazoweza kufunzwa katika umakinifu wa kila safu ya kibadilishaji, si ingizo pekee.
Nani alianzisha urekebishaji wa kiambishi awali na takriban lini?
Urekebishaji wa kiambishi awali ulipendekezwa na Xiang Lisa Li na Percy Liang huko Stanford mnamo 2021.
Kwa nini kurekebisha kiambishi awali kunavutia kwa kuhudumia kazi nyingi?
Kwa sababu kiambishi awali kidogo pekee ndicho mahususi, unahifadhi faili moja ndogo kwa kila kazi badala ya kunakili modeli nzima.
Ni hila gani mara nyingi hutumika kuleta utulivu wa mafunzo ya kiambishi awali?
MLP ndogo hutengeneza kiambishi awali wakati wa mafunzo kwa uthabiti, kisha hutupwa, na kuacha tu viambishi awali vilivyofunzwa.