ELECTRA Pretraining
ELECTRA jẹ ọna ti o munadoko diẹ sii lati ṣaju awọn awoṣe ede nipa kikọ wọn lati ṣe iranran awọn ọrọ iro dipo lafaimo awọn ti o farapamọ.
Akopọ
O baamu didara BERT nipa lilo ida kan ti iṣiro.
Jin Dive
ELECTRA (Kikọ daradara Encoder kan ti o ṣe ipinlẹ Awọn Iyipada Tokini Ni pipe), ti a ṣe nipasẹ Google ati Stanford ni ọdun 2020, rọpo iṣẹ-ṣiṣe awoṣe-ede-boju-boju ti BERT pẹlu 'iṣawari ami ti a rọpo.' Nẹtiwọọki monomono kekere kan paarọ diẹ ninu awọn ọrọ ni gbolohun kan fun awọn omiiran ti o ṣeeṣe, ati awoṣe akọkọ (alatasoto) kọ ẹkọ lati pinnu, fun gbogbo aami kan, boya o jẹ atilẹba tabi rọpo. Nitoripe awoṣe ṣe ikẹkọ lori gbogbo awọn ami-ami dipo ~15% nikan ti awọn iboju iparada BERT, o kọ ẹkọ ni iyara pupọ. A royin ELECTRA-Small lati ṣe adaṣe iwọn GPT ti o ni afiwe pẹlu ikẹkọ 30x diẹ sii, ati ELECTRA-Large rivaled RoBERTa ati XLNet lori ala GLUE lakoko lilo aijọju idamẹrin ti iṣiro naa.
Imọ-imọ-ẹrọ
Awọn transformers meji ṣe ikẹkọ ni apapọ. Olupilẹṣẹ naa ṣe apẹrẹ ede boju-boju ati gbero awọn ami aropo; awọn discriminator ṣe alakomeji classification (gidi vs. rọpo) lori gbogbo ipo. Ni pataki, pipadanu naa jẹ iṣiro lori gbogbo awọn ami-ami, kii ṣe awọn ti o boju-boju nikan, fifun ifihan agbara ikẹkọ iwuwo. Awọn ifibọ awọn ami ami meji pin, monomono ti wa ni kekere (nigbagbogbo idamẹrin si idaji iwọn iyasoto), ati lẹhin iṣaju ti monomono ti a danu - iyasoto nikan ni a ṣatunṣe daradara-aifwy ibosile.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti ELECTRA Pretraining
Ero wiwa-ami-ami-apo ti ELECTRA ti ni ipa nigbamii awọn koodu encoders daradara bi DeBERTa-v3, eyiti o ni idapo pẹlu akiyesi aibikita fun awọn abajade-ti-ti-aworan. Bi awọn ẹgbẹ ṣe bikita diẹ sii nipa idiyele ikẹkọ ati ifẹsẹtẹ erogba, awọn ibi-afẹde pretraining iyasoto ti o fun ami ifihan lati gbogbo ami-ami jẹ ẹwa fun kikọ lagbara, awọn koodu ihapọ. Reti ọna lati tọju ifitonileti kekere, awọn awoṣe iyara fun wiwa ẹrọ lori ẹrọ, ipinya, ati imupadabọ nibiti awọn awoṣe ipilẹṣẹ ti o tobi ju.
Real-World imuse
Agbara isọdi ọrọ iyara ati itupalẹ itara nibiti o ti nilo iwapọ kan, koodu koodu deede
Ṣiṣẹ bi eegun ẹhin fun ibaramu wiwa ati awọn eto ipo iwe aṣẹ
Atunse ELECTRA-Kekere fun ẹrọ lori ẹrọ tabi awọn iṣẹ ṣiṣe NLP kekere-kekere pẹlu iṣiro to lopin
Ṣiṣẹ bi koodu koodu ipilẹ to lagbara fun idanimọ nkan-orukọ ati awọn ipilẹ idahun ibeere bii SQuAD ati GLUE
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ELECTRA Pretraining quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
XLNet Permutation Modelling
Awọn ibeere ti a beere nigbagbogbo
Kini ELECTRA Pretraining?
ELECTRA jẹ ọna ti o munadoko diẹ sii lati ṣaju awọn awoṣe ede nipa kikọ wọn lati ṣe iranran awọn ọrọ iro dipo lafaimo awọn ti o farapamọ. O baamu didara BERT nipa lilo ida kan ti iṣiro.
Iṣẹ-ṣiṣe ikẹkọ iṣaaju wo ni ELECTRA nlo dipo awoṣe ede ti ko boju mu?
ELECTRA ṣe ikẹkọ awoṣe lati ṣawari iru awọn ami ti o ti rọpo nipasẹ olupilẹṣẹ, dipo asọtẹlẹ awọn ọrọ ti o boju-boju.
Kini idi ti ELECTRA jẹ iṣiro-daradara ju BERT?
Iyatọ naa ṣe ipinlẹ gbogbo aami bi gidi tabi rọpo, nitorinaa awoṣe kọ ẹkọ lati 100% ti awọn ipo dipo ipin ti o boju nikan.
Kini ipa wo ni nẹtiwọọki monomono kekere ṣe ni ELECTRA?
Olupilẹṣẹ n ṣe apẹrẹ ede ti o boju-boju ati pese awọn ami aipe ojulowo, ṣiṣẹda iṣẹ ṣiṣe fun eleyatọ.
Kini yoo ṣẹlẹ si monomono lẹhin ikẹkọ iṣaaju ti pari?
Nikan ni iyasoto ti wa ni ipamọ ati ki o itanran-aifwy fun ibosile awọn iṣẹ-ṣiṣe; a ju monomono kuro.
ELECTRA ti ni idagbasoke nipasẹ awọn oniwadi lati awọn ẹgbẹ wo?
ELECTRA ti ṣafihan ni ọdun 2020 nipasẹ awọn oniwadi ni Google ati Ile-ẹkọ giga Stanford.