BERT iyo Moodooyinka Encoder
BERT waa nooc luuqadeed oo calaamad ah oo u akhriya qoraalka labada jiho hal mar si loo dhiso metelaad qani ah oo macne ah.
Dulmar
As an encoder model, it excels at understanding text rather than generating it, powering tasks like search, classification, and question answering.
quusid qoto dheer
Waxaa soo saaray Google sanadka 2018, BERT (Wakiilada Encoder-ka laba jiho ee ka yimid Transformers) waxay badashay habaynta luuqada dabiiciga ah ku dhawaad hal habeen. Si ka duwan moodooyinka qaabka GPT ee u akhriya bidix ilaa midig si loo saadaaliyo erayga soo socda, BERT waxay akhridaa jumlada oo dhan hal mar, iyadoo adeegsanaysa macnaha labada dhinac ee kelmad kasta. Aragtida laba jiho ayaa ka dhigaysa mid aad ugu wanagsan fahamka macnaha. Si loo tababaro habkan, BERT waxay isticmaashaa qaabaynta luqadda waji-xidhan: waxay si aan kala sooc lahayn u qarisaa boqolkiiba 15 calaamadaha waxayna barataa inay buuxiso meelaha banaan iyadoo adeegsanaysa macnaha guud. Waxaa sidoo kale lagu tababaray saadaalinta jumlada xigta si loo fahmo cilaaqaadka ka dhexeeya jumladaha. Fikradda horumarku waxay ahayd pretrain-ka dibna-finetune: ku tababar hal nooc oo weyn qoraal aan calaamadayn, ka dibna si raqiis ah ula qabso hawlo gaar ah oo leh xog-ururin yar oo calaamadeysan. BERT waa moodeel-kaliya codeer-ka, marka waxay soo saartaa wax-ku-xidhka, ee maaha qoraal-socod xor ah.
Aragtida Farsamada
BERT waxa ay isticmaashaa oo kaliya nus ka mid ah koodhka taransfooriyaha, iyada oo istixgelinaysa taas oo u ogolaanaysa calaamad kasta in ay ka qayb gasho calaamad kasta oo kale ee labada jiho isku mar. Sababtoo ah ujeeddada caadiga ah ee bidix-ilaa-midig waxay u oggolaanaysaa qaabka laba-geesoodka ah inuu si fudud u arko jawaabta, BERT waxay calaamadisaa oo saadaalisaa iyaga, taas oo ku qasbaysa faham dhab ah. Tababarka hore ka dib, waxaad caadiyan ku darsataa madax yar oo hawl gaar ah oo si fiican u habayn qaabka oo dhan. Guuleystayaasha sida RoBERTa waxay hagaajiyeen cuntooyinka tababarka, halka DistilBERT iyo ALBERT ay hoos u dhigeen qaabka xawaaraha iyo hufnaanta.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka BERT iyo Moodooyinka Encoder
Moodooyinka encoder-ka ayaa ah laf-dhabarta hawlaha u baahan fahamka halkii ay ka ahaan lahaayeen jiil, sida raadinta semantic, soo celinta, dib-u-dejinta, iyo kala soocida qiyaasta. In kasta oo moodooyinka wax-soo-saareyaashu ay qabtaan cinwaannada, BERT-qoysku waxay si deggan u xoojiyaan nidaamyada wax-soo-saarka oo ay ku jiraan Google Raadin. Mustaqbalku waxa uu tilmaamayaa cod-bixiyeyaal aad u hufan, luuqado badan iyo noocyo gaar ah oo domain ah, iyo is dhexgalka adag ee dhuumaha jiilka dib u soo celinta, halkaas oo codeeyaha degdega ah uu helo dukumeenti khuseeya oo qaab wax-soo-saar weyn uu markaa isticmaalo si uu uga jawaabo.
Dhaqangelinta Adduunka-dhabta ah
Awood siinta Google Raadi si aad sifiican u fahanto ulajeedka ka dambeeya weydiimaha wada hadalka
Abuurista jumladaha gundhigga u ah si xogta xogta vector ay u hesho dukumeenti macno ahaan la mid ah
Kala soocida dib u eegista macaamiisha sida togan ama taban ee falanqaynta dareenka ee miisaanka
Ka soo saarida jawaabaha tuduc ka mid ah nidaamka su'aalaha-jawaab-celinta
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BERT and Encoder Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Qaababka isku xigxiga
Su'aalaha soo noqnoqda
What is BERT and Encoder Models?
BERT waa nooc luuqadeed oo calaamad ah oo u akhriya qoraalka labada jiho hal mar si loo dhiso metelaad qani ah oo macne ah. Qaabka codeeyaha ahaan, waxa ay ku fiican tahay fahamka qoraalka halkii ay ka abuuri lahayd, awood u yeelata hawlaha sida raadinta, kala saarista, iyo ka jawaabista su'aalaha.
Waa maxay 'bidirectional' ee BERT loola jeedaa?
Si ka duwan moodooyinka bidix-ilaa-midig, BERT waxay tixgelisaa macnaha guud ee labada dhinac ee kelmad kasta isku mar, iyadoo siinaya faham qani ah oo macnaha ah.
Waa maxay ujeedada ugu weyn ee tababarka ka hor ee ka dhigaysa BERT laba jiho?
BERT waxay qarisaa boqolkiiba 15 calaamadaha waxayna barataa inay ka saadaaliso macnaha ku xeeran, taas oo u baahan adeegsiga labada jiho kana diidaysa inay si fudud u aragto jawaabta.
Qaybtee ka mid ah qaab-dhismeedka transformer-ka ayay BERT isticmaashaa?
BERT waa moodal-kood-kaliya, waana sababta ay ugu takhasustay soo saarista matalaadda fahamka halkii ay ka abuuri lahayd qoraal-socod xor ah.
Waa maxay habka 'kahortareen-ka-ka-finetune' ee BERT la faafiyay?
BERT waxa lagu sii tababbaray qoraal weyn oo aan calaamadayn, ka dibna si fiican loo habeeyey iyada oo la raacayo xog yar oo calaamadaysan hawl kasta oo hoose, taas oo badbaadinaysa dadaal aad u weyn.
Waa maxay nooca wax soo saarka ee BERT ugu horrayn loogu talagalay inay soo saarto?
Codeeye ahaan, BERT waxa ay ku fiican tahay soo saarista qalabaynta hawlaha sida kala soocidda, goobidda, iyo ka jawaabista su'aalaha, ee maaha soo saarista qoraal dheer.