Muunad la qorsheeyay iyo Eexda Soo Bandhigida
Eexda soo bandhigista waa farqiga soo muuqda marka moodeel lagu tababaray kaliya horgalayaasha saxda ah ay tahay, marka la eego, xaalad ku saabsan wax soo saarkiisa aan qummanayn.
Dulmar
Scheduled sampling is a curriculum that gradually closes that gap.
quusid qoto dheer
Moodooyinka loo tababaray ku qasbaya macalinka kaliya waxay waligood u arkaan calaamado-xaqiiqda dhabta ah sida macnaha guud, laakiin wakhtiga jiilka waxay dib u soo celiyaan saadaalahooda. Marka qalad hore uu ku dhaco moodalka xaalad uusan waligiis la kulmin inta lagu jiro tababarka, khaladaadku waxay noqon karaan kubbadda barafka, qaabka guuldarada ee loo yaqaan eexda. Muunad la qorsheeyay, oo ay soo bandhigeen Bengio iyo asxaabtiisa sanadka 2015, ayaa tan wax ka qabanaya iyagoo rog-rogaya qadaadiic tallaabo kasta oo go'aamineed inta lagu jiro tababarka: iyadoo ay jirto ixtimaalka qaar waxay quudinaysaa calaamadda runta ah (ku qasbi macallinka) iyo haddii kale waxay quudinaysaa tusaalaha saadaasha muunaddiisa gaarka ah. Suurtagalnimada isticmaalka runta dhulka waxay ka bilaabataa mid u dhow waxayna ku qudhuntaa tababarka iyada oo loo marayo jadwal (linear, jibbaaran, ama sigmoid-rogid ah), markaa qaabka ayaa si tartiib tartiib ah u soo bandhigaya wax soo saarkiisa oo wuxuu bartaa inuu ka soo kabsado khaladaadkiisa.
Aragtida Farsamada
Talaabada t moodelku wuxuu muunadeeyaa doorsoome Bernoulli oo leh epsilon_i ixtimaalka ah ee doorashada calaamadda dahabka; epsilon_i way qudhuntaa marka uu tababarku socdo. Daahsoontu waa in quudinta calaamadaha muunada ah ay ka dhigto ujeeddada eexasho iyo muunad kala-duwan oo aan kala duwanayn, markaa gradients si nadiif ah uguma socdaan calaamadda dib-u-celinta. Kala duwanaanshuhu waxay isticmaalaan si toos ah Gumbel-softmax ama nasasho kala duwan si loo yareeyo tan, iyo hababka heerka-isku xigxiga ayaa si toos ah u wanaajiya mitirka sida BLEU.
Saamaynta Istiraatijiyadeed
Qiimaha iyo miisaaniyada
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
Go'aamo cad
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
Xakamaynta tayada
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Mustaqbalka Saamaynta Jadwalsan iyo Eexda Soo Bandhigida
Moodooyinka luuqadaha waaweyn ee Transformer-ka saamaynta wax ku oolka ah ee eexda soo-gaadhista ayaa laga doodayaa, maadaama xog badan iyo miisaanku ay yareeyeen, iyo hababka sida RLHF ay si toos ah u qaabeeyaan hab-dhaqanka jiilka. Weli, muunad la qorsheeyay iyo faraceeda ayaa weli ah kuwo khuseeya moodooyinka yaryar, jiilka habaysan, iyo hawlo leh baahiyo sugan oo adag. Shaqada mustaqbalka waxay isku daraysaa soo bandhigida manhajka, ujeedooyinka isku xigxiga ee qaabka xoojinta, iyo tababbarka khatarta ugu yar si loo waafajiyo sida moodooyinka loo tababaray sida ay dhab ahaan u go'aamiyaan.
Dhaqangelinta Adduunka-dhabta ah
Tababar qaab sawir-qaadis ah oo leh muunad qorshaysan si ay u barato inay si qurux badan u sii socoto kelmadda aan dhammaystirnayn ka dib
Jadwalka sigmoid-ka-soo-jeedka ee nidaamka tarjumaada mashiinka neural
Ogaanshaha chatbot-ka ku qulqulaya siddooyin aan toos ahayn sida calaamad muujinaysa eexasho ka timid macallinka saafiga ah oo ku qasbaya
Isbarbardhigga buundooyinka BLEU ee koobabiyaha lagu tababaray macalin buuxa oo ku qasbaya mid loo tababaray muunad la qorsheeyay
Khatarta & Dariiqyada Ilaalada
Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Qorshe Hawleedka Dhaqangelinta
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Scheduled Sampling and Exposure Bias quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Saamaynta Xun iyo Qiimaynta Dhawaaqa
Su'aalaha soo noqnoqda
What is Scheduled Sampling and Exposure Bias?
Eexda soo bandhigista waa farqiga soo muuqda marka moodeel lagu tababaray kaliya horgalayaasha saxda ah ay tahay, marka la eego, xaalad ku saabsan wax soo saarkiisa aan qummanayn. Muunad la qorsheeyay waa manhaj si tartiib tartiib ah u xiraya farqigaas.
Muxuu sameeyaa muunad jadwalaysan inta lagu jiro tababarka?
Muunad la qorsheeyey waxa ay isku daraysaa runta-foolka ah iyo calaamado la soo saaray sida qalab-dejiyayaal, oo ay maamusho itimaalka qudhunka ah.
Sidee bay suurtogalnimada isticmaalka calaamadda runta dhabta ah isu beddeshaa tababarka muunad la qorsheeyay?
Jadwalku wuxuu ka bilaabmaa meel u dhow qasab oo macalinku si buuxda ayuu u qudhunayaa sidaa darteed moodalku wuxuu si isa soo taraysa u soo bandhigayaa saadaasha u gaarka ah markuu soo hagaagayo.
Yaa soo bandhigay muunad la qorsheeyay, iyo qiyaas ahaan goorma?
Muunad la qorsheeyay waxaa soo jeediyay Samy Bengio iyo asxaabtiisa 2015 saadaasha isku xigta ee shabakadaha soo noqnoqda.
Jadwalka qaabkee ayaa inta badan loo soo qaatay inuu burburiyo suurtagalnimada qasabka macalinka?
Shaqadii asalka ahayd waxay soo jeedisay jadwalka suuska toosan, jibbaaran, iyo sigmoid-ka rogan si loo dhimo suurtogalnimada muunad-xaqiiqda dhabta ah.