Saamaynta Xun iyo Qiimaynta Dhawaaqa
Sambalaynta taban iyo Qiyaasta is-barbar-dhigga qaylada (NCE) waa khiyaamo u oggolaanaya moodooyinka in ay wax ka bartaan erayo waaweyn iyaga oo aan xisaabin softmax buuxa oo qaali ah.
Dulmar
Halkii laga dhalin lahaa wax soo saar kasta oo suurtagal ah, waxay barayaan moodeelka inuu u sheego tusaalooyin dhab ah (togan) oo ka yimid kuwa yar oo been abuur ah (negative).
quusid qoto dheer
Marka eray-bixintu ay leedahay boqollaal kun oo erey, softmax-ga caadiga ah waa in uu caadi ka dhigaa kelmad kasta tallaabo kasta oo tababar ah - aad u gaabis ah. Qiyaasta is-barbar-dhigga ee qaylada waxay u qaabaysaa dhibaatada sidii kala-soocidda laba-geesoodka ah: marka la eego bartilmaameed iyo dhawr muunado 'sanqad' ah oo laga soo qaaday qaybinta la yaqaan, baro sida loo kala saaro muunadda runta ah iyo qaylada, taas oo si maldahan u soo kabsata ixtimaalka la rabo iyada oo aan caadi ahayn. Muunad taban, oo uu caan ku yahay model2vec's skip-gram, waa ina-adeer la fududeeyay: mid kasta oo run ah (erey, macnaha guud) waxay lamaanaysaa muunado k taban waxayna tababartaa moodalka si loo meeleeyo dhibcaha sare ee lammaanaha dhabta ah iyo dhibcaha hoose ee been-abuurka ah, iyadoo la adeegsanayo ujeeddada sigmoid. Labaduba waxay u beddelaan dhibaato dabaqado badan oo qaali ah kuwo badan oo binary raqiis ah, iyagoo ka dhigaya tababbarka dhex-galka baaxadda weyn mid wax ku ool ah. Doorashada qaybinta qaylada (inta badan jaantuska kor loogu qaaday awoodda 3/4) ayaa si xoog leh u saameeya tayada.
Aragtida Farsamada
NCE waxay ku qiyaastay qaabka iyadoo u kala saaraysa xogta iyo qaylada, iyo marka tirada muunada sanqadhyadu sii koraan waxay si macquul ah u qiyaasaysaa suurtogalnimada ugu badnaan oo leh softmax caadi ah oo habboon. Muunad taban waxay hoos u dhigtaa shuruudaha caadiga ah ee NCE, iyada oo hagaajinaysa log σ(dhibcaha togan) + Σ log σ(-dhibcaha taban). Taasi waxay ka dhigaysaa mid dhakhso badan laakiin hadda ma noqonayso qiyaasaha cufnaanta joogtada ah - waxay u habaysan tahay barashada ku-xidhka wanaagsan halkii ay ka ahaan lahayd ixtimaalka la jaanqaadaya. Muunadaha xun-xun ee qaybinta jaantus la simay (soo noqnoqoshada ^ 0.75) waxay dheellitiraysaa erayada caadiga ah iyo kuwa naadir ah.
Saamaynta Istiraatijiyadeed
Qiimaha iyo miisaaniyada
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
Go'aamo cad
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
Xakamaynta tayada
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Mustaqbalka Saamaynta Xun iyo Qiyaasta Is-barbar-dhigga ee Sawaxanka
Fikradda udub-dhexaadka ah - wax ku baro adigoo isbarbar dhigaya kuwa togan oo liddi ku ah kuwa xun ee la soo qaatay - hadda waxay taageertaa barashada casriga ah ee is-kormeerka iyo isbarbardhigga barashada aragtida, luqadda, iyo talada. Shaqada mustaqbalka waxay diiradda saartaa macdanta adag ee taban (doorashada taban wargelin ah halkii ay ka ahaan lahayd kuwa random), ka eexashada xumaanta beenta ah, iyo in si raqiis ah loo cabbiro tabashooyinka iyada oo loo marayo bangiyada xusuusta waaweyn ama muunad-dufceedka. Marka ay mooduhu koraan, ujeedooyinka muunada leh ee wax-ku-oolka ah ayaa ah kuwo lama huraan ah meel kasta oo meelaha wax-soo-saarka ama musharraxiinta ay yihiin kuwo aad u weyn, sida soo-celinta iyo la-taliyeyaal ballaaran.
Dhaqangelinta Adduunka-dhabta ah
word2vec skip-gram oo leh muunad taban oo barasho erey oo laga soo dhex galiyay balaayiin calaamado ah oo aan lahayn softmax buuxa.
Moodooyinka luqadaha taariikh ahaan iyagoo isticmaalaya NCE si ay ugu tababaraan erayada boqollaal kun oo erey si hufan.
Nidaamyada soo jeedinta iyo soo celinta ee muunadeynta walxaha 'negative' isticmaaluhu lama falgalin si loo tababaro moodooyinka isku-xidhka laba-taar.
Garaafka garaafyada iyo garaafka gundhigyada (tusaale, kharribaya madaxa ama dabada saddex geesoodka ah) iyadoo la isticmaalayo muunado taban si loo barto cilaaqaadka cidda.
Khatarta & Dariiqyada Ilaalada
Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Qorshe Hawleedka Dhaqangelinta
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Negative Sampling and Noise Contrastive Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Online iyo Mining Negative adag
Su'aalaha soo noqnoqda
Waa maxay Saamaynta Xun iyo Qiyaasta Is-barbar-dhigga Sawaxanka?
Sambalaynta taban iyo Qiyaasta is-barbar-dhigga qaylada (NCE) waa khiyaamo u oggolaanaya moodooyinka in ay wax ka bartaan erayo waaweyn iyaga oo aan xisaabin softmax buuxa oo qaali ah. Halkii laga dhalin lahaa wax soo saar kasta oo suurtagal ah, waxay barayaan moodeelka inuu u sheego tusaalooyin dhab ah (togan) oo ka yimid kuwa yar oo been abuur ah (negative).
Dhibaato noocee ah ayaa marka hore xaliya muunad diidmo iyo NCE?
Labada habba waxay iska ilaalinayaan in caadi laga dhigo erayo badan iyadoo dib loo habayn doono tababarka sidii takoorid binary raqiis ah.
Sidee buu qiimaynta is-barbardhiga u habeeyaa hawsha barashada?
NCE waxay tababartaa qaabka si ay u kala soocdo muunadaha dhabta ah iyo muunadaha laga soo qaaday qaybinta qaylada la yaqaan.
Qaabkee baa caan baxay muunad taban oo lagu barto ereyada ku dhex-jira?
Muunad taban ayaa la soo bandhigay oo lagu caan baxay kala duwanaanshaha skip-gram ee word2vec.
Sidee buu muunada xun uga duwan yahay NCE buuxda?
Saamaynta taban waxay fududaynaysaa NCE iyada oo meesha ka saaraysa hab-nololeedka caadiga ah, ka-ganacsiga saxnaanta suurtogalka ah ee xawaaraha iyo ku-xidhka wanaagsan.
Waa maxay sababta diidmada inta badan looga soo qaado qaybinta jaantuska oo kor loogu qaado awoodda 3/4?
Jibbaha 0.75 waxa uu hagaajiyaa qaybinta soo noqnoqoshada si aanay ereyada caadiga ahi u xukumin oo erayo naadir ah ayaa weli soo muuqda.