Uundaji wa Vibali vya XLNet
XLNet inachanganya muktadha wa pande mbili wa BERT na utabiri wa moja kwa moja wa GPT kwa mafunzo juu ya mpangilio wa maneno nasibu.
Muhtasari
This permutation trick lets it learn from all positions without ever masking tokens.
Dive ya kina
XLNet, iliyoanzishwa mwaka wa 2019 na Carnegie Mellon na Google Brain, iliundwa kurekebisha kasoro katika mafunzo ya awali ya mtindo wa BERT. BERT hufunika vinyago vya tokeni na kuzitabiri, lakini alama ya [MASK] ya bandia haionekani kamwe kwa wakati wa kusawazisha, na hivyo kuunda kutolingana kwa gari moshi/jaribio, na BERT huchukulia kuwa tokeni zilizofunikwa ziko huru. XLNet badala yake hutumia 'muundo wa lugha ya vibali': huongeza uwezekano wa kumbukumbu unaotarajiwa juu ya upangaji wote unaowezekana wa maneno katika mlolongo. Kwa kutabiri kila ishara inayopewa kitengo kidogo cha zingine, kielelezo huona muktadha wa pande mbili kwa njia ifaayo huku kikibaki kuwa kielelezo sahihi cha kiotomatiki bila kuficha macho. Imejengwa juu ya uti wa mgongo wa Transformer-XL kwa ajili ya kumbukumbu ya masafa marefu, XLNet ilifanya kazi vizuri kuliko BERT kwa takriban majukumu 20 ikijumuisha kujibu maswali, uchanganuzi wa hisia, na cheo cha hati.
Ufahamu wa Kiufundi
XLNet haichanganyi maneno kimwili; inaruhusu agizo la uanzishaji kupitia vinyago vya umakini, kwa hivyo habari ya msimamo huhifadhiwa. Ili kufanya kazi hii, hutumia 'makini ya mtiririko-mbili': mtiririko wa maudhui ambao husimba tokeni na muktadha wake, na mtiririko wa hoja unaojua nafasi ya mlengwa lakini si maudhui yake, kuwezesha utabiri bila kuvuja jibu. Kujirudia kwa Transformer-XL na usimbaji wa nafasi husika huipa kumbukumbu katika sehemu ndefu, kuboresha utunzaji wa hati ndefu.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Uundaji wa Vibali vya XLNet
XLNet ilikuwa uthibitisho wenye ushawishi mkubwa kwamba malengo ya autoregressive yanaweza kunasa muktadha wa pande mbili, ikitia ukungu mgawanyiko wa BERT-dhidi ya-GPT. Ingawa sehemu hiyo iliunganishwa kwa kiasi kikubwa karibu na visimbaji vilivyofichwa au visimbaji vikubwa vinavyoweza kurudi nyuma, wazo la uidhinishaji la XLNet na kujirudia kwa Transformer-XL kulifahamisha kazi ya baadaye ya uundaji wa muktadha wa muda mrefu na malengo ya pamoja ya mafunzo ya awali. Maarifa yake yanasalia kuwa muhimu kwani watafiti wanatafuta usanifu ambao unachanganya muundo dhabiti wa muktadha na kizazi bora, kisicho na barakoa.
Utekelezaji wa Ulimwengu Halisi
Kufikia matokeo ya juu kwenye viwango vya kujibu maswali kama vile SQUAD
Kushughulikia kazi za hati ndefu kama vile mtihani wa ufahamu wa kusoma wa RACE kupitia kumbukumbu ya Transformer-XL
Mifumo ya uwekaji hati ya nguvu na mifumo ya kurejesha habari
Kuboresha uainishaji wa hisia na uainishaji wa maandishi juu ya misingi ya BERT
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the XLNet Permutation Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Uundaji wa Mada
Maswali yanayoulizwa mara kwa mara
What is XLNet Permutation Modeling?
XLNet inachanganya muktadha wa pande mbili wa BERT na utabiri wa moja kwa moja wa GPT kwa mafunzo juu ya mpangilio wa maneno nasibu. Ujanja huu wa idhini huiruhusu kujifunza kutoka kwa nafasi zote bila kuficha tokeni.
XLNet hutumia lengo gani la utayarishaji?
XLNet huongeza uwezekano wa kumbukumbu unaotarajiwa juu ya vibali vyote vya mpangilio wa uwekaji alama wa tokeni, unaoitwa uundaji wa lugha ya vibali.
Ni udhaifu gani wa BERT ambao XLNet iliundwa mahususi kushughulikia?
Alama ya [MASK] ya bandia haionekani kamwe wakati wa kusawazisha na inashughulikia ubashiri uliofichwa kama huru; XLNet huepuka masuala yote mawili.
Je, umakinifu wa XLNet wa mikondo miwili unatenganisha nini?
Mtiririko wa maudhui husimba tokeni na muktadha, ilhali mtiririko wa hoja unajua nafasi ya mlengwa lakini si maudhui yake, hivyo kuwezesha utabiri bila uvujaji.
Je, XLNet inachanganya maneno katika sentensi?
XLNet inaruhusu agizo la utabiri (factorization) kupitia vinyago vya umakini; nafasi za ishara za asili zimehifadhiwa kupitia usimbaji wa nafasi.
Ni usanifu gani unaotumika kama uti wa mgongo wa XLNet kwa muktadha wa masafa marefu?
XLNet huunda kwenye Transformer-XL, ambayo huongeza kujirudia kwa sehemu na usimbaji wa nafasi wa kushughulikia mifuatano mirefu.