Qaabaynta Luuqada Madow
Qaabaynta luqadda daboolan waxay baraysaa AI inuu buuxiyo erayada si ula kac ah u qarsoon iyadoo la adeegsanayo macnaha guud ee ku hareeraysan, bidix iyo midig labadaba.
Dulmar
It's the training trick behind BERT and the reason models can deeply understand sentence meaning rather than just predict what comes next.
quusid qoto dheer
Qaabaynta luqadda maaskarada leh (MLM), waxaad qaadataa jumlad, si aan kala sooc lahayn u qariso ilaa 15% calaamadaheeda oo wata calaamad gaar ah [MASK], oo tababar qaabka si aad u qiyaasto asalka. Sababtoo ah moodalku wuxuu arkayaa ereyada labada dhinac ee bannaan kasta, wuxuu dhisaa fahamka laba jiho ee macnaha guud. BERT, oo uu soo bandhigay Google sanadka 2018, ayaa faafiyay tan. Faahfaahin xariif ah: meelaha waji-xidhan yahay, qiyaastii 80% waxay noqdeen [Mask], 10% waxa lagu beddelaa kelmad bakhtiyaa nasiib ah, iyo 10% waa la iska beddelaa. Tani waxay ka hortagtaa moodelka inuu waligii filo calaamada [MASK] wakhtiga saadaasha oo waxay xoogaysataa adkaanta. Tababarkan horudhaca ah ka dib, qaabku si fiican ayaa loo habeeyey hawlaha sida kala soocida, ka jawaabista su'aalaha, iyo aqoonsiga cid magaceedu yahay.
Aragtida Farsamada
MLM waxay isticmaashaa furaha codeeyaha oo leh feejignaan laba jiho ah, sidaa darteed calaamad kasta waxay u tagtaa dhammaan kuwa kale isku mar. Khasaaraha waxaa lagu xisaabiyaa kaliya meelaha waji-xidhan yahay iyadoo la adeegsanayo is-dhaafsiga entropy oo liddi ku ah aqoonsiyada dhabta ah. Sababtoo ah dareenku waa mid aan sabab lahayn (maskax mustaqbalka ah ma jiro), matalaadda kelmad kastaa waxay isku dhejisaa macnaha bidix iyo midig ee hal vector cufan. Labada jiho waa dhab ahaan waxa moodooyinka xiga ee calaamaduhu ay ka tanaasulaan awoodda wax-soo-saarka.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Qaabaynta Luuqada Madow
MLM saafi ah ayaa qayb ka mid ah madoobaaday moodooyin-sameeyayaal-abuureyaal loogu talagalay chatbots-ka, laakiin waxa ay weli ku badan tahay ku-xidhka, soo-celinta, iyo kala-soocidda halka fahamku ku garaaco jiilka. Kala duwanaanshiyaha sida RoBERTa, ELECTRA's ogaanshaha calaamada la beddelay, iyo DeBERTa waxay sii wadaan inay riixaan saxnaanta iyo hufnaanta. Filo in codeeyayaasha qaabka MLM-ku ay udub dhexaad u noqdaan raadinta, isu ekaanshaha semantiga, iyo sida qaybaha fudfudud ee ku dhex jira dib-u-soo-celinta-weyn ee la kordhiyey iyo hababka hab-dhaqameedka halkaasoo fahamka qoto dheer uu ka badan yahay qoraalka qaabka xorta ah.
Dhaqangelinta Adduunka-dhabta ah
Awood siinta Google Fahamka ku salaysan BERT ee raadinta ee su'aalaha wada hadalka si loo soo celiyo bogag badan oo khuseeya
Soo saarista jumladaha ku lifaaqan raadinta micnaha ah iyo hababka soo celinta dukumeentiyada.
Hagaajinta BERT ee falanqaynta dareenka ee dib u eegista alaabta ama tigidhada taageerada.
Aqoonsiga cidda magacaaban oo dadka, ururada, iyo taariikhaha ka soo saarta qoraalka sharciga ama caafimaadka.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Masked Language Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Qaabaynta Luuqadda
Su'aalaha soo noqnoqda
What is Masked Language Modeling?
Qaabaynta luqadda daboolan waxay baraysaa AI inuu buuxiyo erayada si ula kac ah u qarsoon iyadoo la adeegsanayo macnaha guud ee ku hareeraysan, bidix iyo midig labadaba. Waa khiyaamada tababarka ee ka dambeysa BERT iyo sababta moodooyinka ay si qoto dheer u fahmi karaan macnaha jumlada halkii ay saadaalin lahaayeen waxa soo socda.
Waa maxay shaqada aasaasiga ah ee tababarka ee qaabaynta luqadda daboolan?
MLM waxa uu qariyaa jajab yar oo calaamado ah wuxuuna tababaraa qaabka si uu u soo kabsado iyaga oo isticmaalaya macnaha bidix iyo midig labadaba.
Qiyaastii boqolkiba meeqa calaamadood ayay BERT caadi ahaan maaskarada u qarisaa xilliga tababarka ka horreeya?
BERT waxay daboolaysaa qiyaastii 15% calaamadaha gelinta, dheelitirka u dhexeeya bixinta calaamad ku filan iyo ka tagista xaalad ku filan.
Muxuu MLM u bixiyaa qaabka fahamka laba jiho?
Beddelka beddelka wuxuu isticmaalaa is-fiirsi aan sabab lahayn, markaa calaamad kasta waxay arki kartaa dhammaan kuwa kale ee labada dhinacba.
Qorshaha waji-xidhka ee BERT, maxaa ku dhacaya ilaa 10% boosaska la doortay intii ay noqon lahaayeen [MASK]?
Si loo hagaajiyo adkaanta, 10% boosaska wejiyada daboolan ayaa lagu beddelaa calaamad random 10% ayaa laga tagayaa iyadoo aan isbeddelin.
Meelkee lagu xisaabiyaa khasaaraha MLM?
Luminta-entropy-ka-dhaafka ah waxaa lagu dabaqaa oo keliya meelaha waji-xidhan, marka la barbar dhigo saadaasha aqoonsigii asalka ahaa.