HAGAHA Farsamada
Saamaynta Xun iyo Qiimaynta Dhawaaqa
Sambalaynta taban iyo Qiyaasta is-barbar-dhigga qaylada (NCE) waa khiyaamo u oggolaanaya moodooyinka in ay wax ka bartaan erayo waaweyn iyaga oo aan xisaabin softmax buuxa oo qaali ah.
Dhageyso hagahanAI-waa laga sheekeeyay · ~2 min
Boggaan2 daqiiqo akhri
Dulmar
Halkii laga dhalin lahaa wax soo saar kasta oo suurtagal ah, waxay barayaan moodeelka inuu u sheego tusaalooyin dhab ah (togan) oo ka yimid kuwa yar oo been abuur ah (negative).
quusid qoto dheer
Marka eray-bixintu ay leedahay boqollaal kun oo erey, softmax-ga caadiga ah waa in uu caadi ka dhigaa kelmad kasta tallaabo kasta oo tababar ah - aad u gaabis ah. Qiyaasta is-barbar-dhigga ee qaylada waxay u qaabaysaa dhibaatada sidii kala-soocidda laba-geesoodka ah: marka la eego bartilmaameed iyo dhawr muunado 'sanqad' ah oo laga soo qaaday qaybinta la yaqaan, baro sida loo kala saaro muunadda runta ah iyo qaylada, taas oo si maldahan u soo kabsata ixtimaalka la rabo iyada oo aan caadi ahayn. Muunad taban, oo uu caan ku yahay model2vec's skip-gram, waa ina-adeer la fududeeyay: mid kasta oo run ah (erey, macnaha guud) waxay lamaanaysaa muunado k taban waxayna tababartaa moodalka si loo meeleeyo dhibcaha sare ee lammaanaha dhabta ah iyo dhibcaha hoose ee been-abuurka ah, iyadoo la adeegsanayo ujeeddada sigmoid. Labaduba waxay u beddelaan dhibaato dabaqado badan oo qaali ah kuwo badan oo binary raqiis ah, iyagoo ka dhigaya tababbarka dhex-galka baaxadda weyn mid wax ku ool ah. Doorashada qaybinta qaylada (inta badan jaantuska kor loogu qaaday awoodda 3/4) ayaa si xoog leh u saameeya tayada.
Dhaqangelinta Adduunka-dhabta ah
word2vec skip-gram oo leh muunad taban oo barasho erey oo laga soo dhex galiyay balaayiin calaamado ah oo aan lahayn softmax buuxa.
Moodooyinka luqadaha taariikh ahaan iyagoo isticmaalaya NCE si ay ugu tababaraan erayada boqollaal kun oo erey si hufan.
Nidaamyada soo jeedinta iyo soo celinta ee muunadeynta walxaha 'negative' isticmaaluhu lama falgalin si loo tababaro moodooyinka isku-xidhka laba-taar.
Garaafka garaafyada iyo garaafka gundhigyada (tusaale, kharribaya madaxa ama dabada saddex geesoodka ah) iyadoo la isticmaalayo muunado taban si loo barto cilaaqaadka cidda.
Mustaqbalka Saamaynta Xun iyo Qiyaasta Is-barbar-dhigga ee Sawaxanka
Fikradda udub-dhexaadka ah - wax ku baro adigoo isbarbar dhigaya kuwa togan oo liddi ku ah kuwa xun ee la soo qaatay - hadda waxay taageertaa barashada casriga ah ee is-kormeerka iyo isbarbardhigga barashada aragtida, luqadda, iyo talada. Shaqada mustaqbalka waxay diiradda saartaa macdanta adag ee taban (doorashada taban wargelin ah halkii ay ka ahaan lahayd kuwa random), ka eexashada xumaanta beenta ah, iyo in si raqiis ah loo cabbiro tabashooyinka iyada oo loo marayo bangiyada xusuusta waaweyn ama muunad-dufceedka. Marka ay mooduhu koraan, ujeedooyinka muunada leh ee wax-ku-oolka ah ayaa ah kuwo lama huraan ah meel kasta oo meelaha wax-soo-saarka ama musharraxiinta ay yihiin kuwo aad u weyn, sida soo-celinta iyo la-taliyeyaal ballaaran.
Ku dhaqangelinta
Maxay muhiim u tahay
- Qiimaha iyo miisaaniyada. Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
- Go'aamo cad. Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
- Xakamaynta tayada. Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Iska ilaali
- Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
- Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
- Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Tallaabooyinka xiga
- Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
- Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
- La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
- U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the Negative Sampling and Noise Contrastive Estimation quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
Waa maxay Saamaynta Xun iyo Qiyaasta Is-barbar-dhigga Sawaxanka?
Sambalaynta taban iyo Qiyaasta is-barbar-dhigga qaylada (NCE) waa khiyaamo u oggolaanaya moodooyinka in ay wax ka bartaan erayo waaweyn iyaga oo aan xisaabin softmax buuxa oo qaali ah. Halkii laga dhalin lahaa wax soo saar kasta oo suurtagal ah, waxay barayaan moodeelka inuu u sheego tusaalooyin dhab ah (togan) oo ka yimid kuwa yar oo been abuur ah (negative).
Dhibaato noocee ah ayaa marka hore xaliya muunad diidmo iyo NCE?
Labada habba waxay iska ilaalinayaan in caadi laga dhigo erayo badan iyadoo dib loo habayn doono tababarka sidii takoorid binary raqiis ah.
Sidee buu qiimaynta is-barbardhiga u habeeyaa hawsha barashada?
NCE waxay tababartaa qaabka si ay u kala soocdo muunadaha dhabta ah iyo muunadaha laga soo qaaday qaybinta qaylada la yaqaan.
Qaabkee baa caan baxay muunad taban oo lagu barto ereyada ku dhex-jira?
Muunad taban ayaa la soo bandhigay oo lagu caan baxay kala duwanaanshaha skip-gram ee word2vec.
Sidee buu muunada xun uga duwan yahay NCE buuxda?
Saamaynta taban waxay fududaynaysaa NCE iyada oo meesha ka saaraysa hab-nololeedka caadiga ah, ka-ganacsiga saxnaanta suurtogalka ah ee xawaaraha iyo ku-xidhka wanaagsan.
Waa maxay sababta diidmada inta badan looga soo qaado qaybinta jaantuska oo kor loogu qaado awoodda 3/4?
Jibbaha 0.75 waxa uu hagaajiyaa qaybinta soo noqnoqoshada si aanay ereyada caadiga ahi u xukumin oo erayo naadir ah ayaa weli soo muuqda.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan