XLNet Permutation Modelling
XLNet dapọ agbegbe bidirectional ti BERT pẹlu asọtẹlẹ autoregressive ti GPT nipasẹ ikẹkọ lori awọn pipaṣẹ ọrọ laileto.
Akopọ
Ẹtan permutation yii jẹ ki o kọ ẹkọ lati gbogbo awọn ipo laisi awọn ami iboju-boju.
Jin Dive
XLNet, ti a ṣe ni ọdun 2019 nipasẹ Carnegie Mellon ati Google Brain, jẹ apẹrẹ lati ṣatunṣe abawọn kan ni iṣaju aṣa BERT. BERT boju-boju awọn ami ati sọtẹlẹ wọn, ṣugbọn aami Oríkĕ [MASK] ko han ni akoko atunṣe daradara, ṣiṣẹda aiṣedeede ọkọ oju-irin/idanwo, ati BERT ro pe awọn ami ti o boju-boju jẹ ominira. dipo XLNet nlo 'awoṣe ede permutation': o mu ki o ṣeeṣe log-reti pọ si lori gbogbo awọn aṣẹ ti o ṣeeṣe ti awọn ọrọ ni ọna kan. Nipa asọtẹlẹ ami kọọkan ti a fun ni ipin-aileto ti awọn miiran, awoṣe ni imunadoko ri ipo bidirectional lakoko ti o ku awoṣe autoregressive to dara laisi boju-boju. Ti a ṣe lori ọpa ẹhin Transformer-XL fun iranti ibiti o gun, XLNet ṣe jade BERT ni ayika awọn iṣẹ-ṣiṣe 20 pẹlu idahun ibeere, itupalẹ itara, ati ipo iwe.
Imọ-imọ-ẹrọ
XLNet ko ni dapọ awọn ọrọ ti ara; o ṣe itọsi aṣẹ iṣelọpọ nipasẹ awọn iboju iparada, nitorinaa alaye ipo ti wa ni ipamọ. Lati ṣe iṣẹ yii, o nlo 'ifojusi ara ẹni-san-meji': ṣiṣan akoonu ti o ṣe koodu ami ami mejeeji ati agbegbe rẹ, ati ṣiṣan ibeere ti o mọ ipo ibi-afẹde ṣugbọn kii ṣe akoonu rẹ, ti n mu asọtẹlẹ ṣiṣẹ laisi jijo idahun naa. Ipadabọ Transformer-XL ati fifi koodu ipo ibatan fun ni iranti kọja awọn apakan gigun, imudara mimu awọn iwe aṣẹ gigun.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti XLNet Permutation Modeling
XLNet jẹ ẹri ti o ni ipa kan pe awọn ibi-afẹde adaṣe le mu ipo-ọna bidirectional, titọpa pipin BERT-lasi-GPT. Lakoko ti aaye naa ni isọdọkan ni ayika boya awọn koodu boju-boju tabi awọn decoders autoregressive nla, imọran permutation XLNet ati Ipadabọ Transformer-XL ṣe ifitonileti iṣẹ nigbamii lori awoṣe asọye-gun ati awọn ibi-afẹde pretraining iṣọkan. Awọn oye rẹ wa ni ibamu bi awọn oniwadi ṣe n wa awọn ile ayaworan ti o ṣajọpọ awoṣe ọrọ ọrọ to lagbara pẹlu lilo daradara, iran ti ko ni iboju-boju.
Real-World imuse
Aṣeyọri awọn abajade ti o ga julọ lori awọn ami-idahun ibeere bii SQuAD
Mimu awọn iṣẹ ṣiṣe iwe-gigun bii idanwo oye kika RACE nipasẹ iranti Transformer-XL
Agbara iwe aṣẹ ati awọn ọna ṣiṣe igbapada alaye
Imudara isọdi ero inu ati isọri ọrọ lori awọn ipilẹ BERT
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the XLNet Permutation Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awoṣe Koko
Awọn ibeere ti a beere nigbagbogbo
Kini XLNet Permutation Modeling?
XLNet dapọ agbegbe bidirectional ti BERT pẹlu asọtẹlẹ autoregressive ti GPT nipasẹ ikẹkọ lori awọn pipaṣẹ ọrọ laileto. Ẹtan permutation yii jẹ ki o kọ ẹkọ lati gbogbo awọn ipo laisi boju-boju awọn ami lailai.
Ète ìdánilẹ́kọ̀ọ́ wo ni XLNet ń lò?
XLNet n mu ki o ṣeeṣe log-reti pọ si lori gbogbo awọn iyipada ti ilana isọdi-ami, ti a pe ni awoṣe ede permutation.
Ailagbara BERT wo ni XLNet ṣe apẹrẹ pataki lati koju?
Aami atọwọda [MASK] ti BERT ko han lakoko iṣatunṣe daradara ati pe o tọju awọn asọtẹlẹ ti o boju bi ominira; XLNet yago fun awọn ọran mejeeji.
Kini akiyesi ara ẹni ṣiṣan-meji XLNet ya sọtọ?
Ṣiṣan akoonu n ṣe koodu ami ami ati ọrọ-ọrọ, lakoko ti ṣiṣan ibeere mọ ipo ibi-afẹde kan ṣugbọn kii ṣe akoonu rẹ, ṣiṣe asọtẹlẹ laisi jijo.
Ṣe XLNet dapọ awọn ọrọ inu gbolohun ọrọ nipa ti ara bi?
XLNet ṣe ilana asọtẹlẹ (factorization) aṣẹ nipasẹ awọn iboju iparada; awọn ipo ami atilẹba ti wa ni ipamọ nipasẹ awọn koodu ipo.
Iru faaji wo ni o ṣe iranṣẹ bi eegun ẹhin XLNet fun agbegbe gigun-gun?
XLNet duro lori Transformer-XL, eyiti o ṣafikun ipadasẹhin apakan ati fifi koodu ipo ibatan fun mimu awọn ilana gigun.