Qaabaynta Permutation XLNet
XLNet waxay isku daraysaa macnaha labada jiho ee BERT iyo saadaasha is-hortaaga ah ee GPT iyadoo la tababarayo amarrada kelmadaha aan tooska ahayn.
Dulmar
This permutation trick lets it learn from all positions without ever masking tokens.
quusid qoto dheer
XLNet, oo ay soo bandhigtay 2019 by Carnegie Mellon iyo Google Maskaxda, waxaa loogu talagalay in lagu hagaajiyo cilada ku jirta tababbarka hore ee qaabka BERT. BERT waxay qarisaa calaamado wayna saadaalisaa, laakiin calaamada [MASK] ee macmalka ah weligood uma muuqdaan wakhtiga hagaajinta, abuurista tareen/imtixaanka iswaafajinta, iyo BERT waxay u malaynaysaa in calaamada daboolan ay madax banaan yihiin. XLNet beddelkeeda waxay isticmaashaa 'qaabaynta luqadda permutation': waxay kordhisaa suurtogalnimada log-ga ee la filayo dhammaan habaynta suurtagalka ah ee erayada isku xigta. Marka la saadaaliyo calaamad kasta oo la siiyay qayb ka mid ah kuwa kale, moodeelku wuxuu si wax ku ool ah u arkayaa macnaha laba jiho isagoo sii ahaanaya moodal toosan oo sax ah oo aan lahayn waji-xidhasho. Lagu dhisay laf-dhabarta Transformer-XL ee xusuusta fog fog, XLNet waxay BERT kaga sare martay 20 hawlood oo ay ku jiraan ka jawaabista su'aalaha, falanqaynta dareenka, iyo darajo dukumentiga.
Aragtida Farsamada
XLNet jir ahaan kuma shaandheyn erayada; Waxa ay ku ilaalisaa nidaamka wax-soo-saarka iyada oo loo marayo waji-xidhka dareenka, markaa macluumaadka booska waa la ilaaliyaa. Si shaqadan loo sameeyo, waxa ay adeegsataa 'laba ilbax is-fiirsasho': durdur ka kooban oo qeexaya calaamadda iyo macnaha guud labadaba, iyo durdur su'aal ah oo garanaysa booska bartilmaameedka laakiin aan ahayn waxa ku jira, taas oo awood u siinaysa saadaasha iyada oo aan jawaabta la bixin. Soo noqnoqoshada Transformer-XL iyo meelaynta qaraabada waxay siinaysaa xusuusta qaybaha dhaadheer, hagaajinta maaraynta dukumentiyada dhaadheer.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka XLNet Modeling Permutation
XLNet waxay ahayd caddayn saamayn leh oo ah in ujeedooyinka is-hortaagga ahi ay qabsan karaan macnaha labada jiho, taasoo mugdi gelinaysa kala qaybsanaanta BERT-iyo-GPT. Iyadoo goobtu ay si weyn isugu xoojisay mid ka mid ah cod-bixiyeyaal weji-xidhan ama qalab-dejiyayaal waaweyn oo is-difaacaya, fikradda xayaysiinta ee XLNet iyo soo noqoshada Transformer-XL ayaa lagu wargeliyay shaqada dambe ee qaabaynta muddada-dheer iyo ujeedooyinka tababarka hore ee midaysan. Aragtideeda ayaa weli ah mid la taaban karo iyadoo cilmi-baarayaashu ay raadinayaan naqshado isku dhafan qaabaynta macnaha xooggan iyo jiil hufan oo aan maaskaro lahayn.
Dhaqangelinta Adduunka-dhabta ah
Gaaritaanka natiijooyinka sare ee jaangooyooyinka ka jawaabista su'aalaha sida SQuAD
Qabashada hawlaha dukumeentiga dheer sida imtixaanka fahamka akhriska RACE iyada oo loo marayo xusuusta Transformer-XL
Awoodsiinta darajooyinka dukumeentiga iyo hababka soo-celinta macluumaadka
Hagaajinta kala saarista dareenka iyo kala soocida qoraalka marka loo eego gunta BERT
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the XLNet Permutation Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Mawduuca Mawduuca
Su'aalaha soo noqnoqda
What is XLNet Permutation Modeling?
XLNet waxay isku daraysaa macnaha labada jiho ee BERT iyo saadaasha is-hortaaga ah ee GPT iyadoo la tababarayo amarrada kelmadaha aan tooska ahayn. Khiyaamadan qalqaalintu waxay u oggolaanaysaa inay wax ka barato dhammaan jagooyinka iyada oo aan waligeed la qarin calaamadaha.
Waa maxay ujeeddada tababbarka ka hor ee ay XLNet isticmaasho?
XLNet waxa ay sare u qaadeysaa suurtagalnimada log-ga ee la filayo in ay ka sarreyso dhammaan wax-ka-beddelka nidaamka wax-soo-saarka calaamadda, ee loo yaqaan qaabeynta luqadda permutation.
Waa kuwee daciifnimada BERT ee XLNet si gaar ah loogu talagalay inay wax ka qabato?
Astaanta macmalka ah ee BERT ee [MASK] weligood uma muuqan inta lagu jiro hagaajinta waxayna ula dhaqantaa saadaasha waji-xidhan sidii madax-bannaan; XLNet waxay ka fogaataa labada arrimood.
Maxaa kala saaraya is-fiirsiga labada-qulqul ee XLNet?
Qulqulka nuxurku waxa uu dhigayaa calaamadda iyo macnaha guud, halka qulqulka weydiintu uu garanayo booska bartilmaameedka laakiin aanu ahayn waxa ku jira, taas oo awood u siinaysa saadaasha iyada oo aan daadsan.
XLNet jir ahaan ma isku shaandhaynta erayada jumlada?
XLNet waxa ay ilaalisaa nidaamka saadaasha (factorization) iyada oo loo marayo waji-xidhka dareenka; boosaska calaamada asalka ah waxaa lagu xafidaa codaynta booska.
Nashqadadee ayaa u adeegta sida laf dhabarta XLNet ee macnaha guud ee fog?
XLNet waxay ku dhistaa Transformer-XL, kaas oo ku dara soo noqnoqoshada qaybta iyo meelaynta qaraabada ah ee maaraynta taxanaha dheer.