InayofuataMwongozo unaofuata
Uchimbaji Mkondoni na Mgumu Hasi
Kiufundi
MWONGOZO wa Kiufundi
Sampuli Hasi na Makadirio ya Kinyume cha Kelele
Sampuli hasi na Ukadiriaji wa Kinyume cha Kelele (NCE) ni mbinu ambazo huruhusu wanamitindo kujifunza juu ya msamiati mkubwa bila kukokotoa laini kamili ya gharama ya juu.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Badala ya kupata matokeo yote yanayowezekana, wanafundisha mfano kusema mifano halisi (chanya) kutoka kwa wachache wa bandia (hasi).
Dive ya kina
Wakati msamiati una mamia ya maelfu ya maneno, laini ya kawaida lazima iwe ya kawaida juu ya kila neno kwa kila hatua ya mafunzo - polepole sana. Ukadiriaji wa Kinyume cha Kelele hurekebisha tatizo kama uainishaji wa mfumo wa jozi: ukipewa lengo na sampuli chache za 'kelele' zinazotolewa kutoka kwa usambazaji unaojulikana, jifunze kutofautisha sampuli ya kweli kutoka kwa kelele, ambayo hurejesha kwa njia dhahiri uwezekano unaohitajika bila kusawazisha waziwazi. Sampuli hasi, inayoangaziwa na modeli ya kuruka ya neno2vec, ni binamu iliyorahisishwa: kwa kila kweli (neno, muktadha) huoanisha sampuli za k hasi na hufunza kielelezo kugawa alama za juu kwa jozi halisi na alama za chini kwa ghushi, kwa kutumia lengo la sigmoid. Zote mbili hugeuza tatizo la gharama kubwa la tabaka nyingi kuwa la binary nyingi za bei nafuu, na kufanya mafunzo ya upachikaji wa kiwango kikubwa kuwa ya vitendo. Uchaguzi wa usambazaji wa kelele (mara nyingi unigram iliyoinuliwa kwa nguvu 3/4) huathiri sana ubora.
Utekelezaji wa Ulimwengu Halisi
word2vec skip-gram na sampuli hasi za upachikaji wa maneno kutoka kwa mabilioni ya tokeni bila softmax kamili.
Miundo ya lugha kihistoria inayotumia NCE kutoa mafunzo juu ya misamiati ya mamia ya maelfu ya maneno kwa ufanisi.
Mifumo ya mapendekezo na urejeshaji sampuli ya vipengee 'hasi' ambavyo mtumiaji hakuingiliana navyo ili kutoa mafunzo kwa miundo ya upachikaji wa minara miwili.
Upachikaji wa grafu na maarifa (k.m., kuharibu kichwa au mkia wa triple) kwa kutumia sampuli hasi kujifunza mahusiano ya huluki.
Mustakabali wa Sampuli Hasi na Makadirio ya Kinyume cha Kelele
Wazo la msingi - jifunze kwa kulinganisha chanya dhidi ya sampuli hasi - sasa inasisitiza ujifunzaji wa kisasa wa kujisimamia na uwakilishi tofauti katika maono, lugha na mapendekezo. Kazi ya siku za usoni inaangazia uchimbaji madini hasi (kuchagua hasi za kuarifu badala ya zile za nasibu), kupinga maoni hasi ya uwongo, na kuongeza hasi kwa bei nafuu kupitia hifadhi kubwa za kumbukumbu au sampuli za ndani ya kundi. Miundo inapokua, malengo bora ya sampuli yanasalia kuwa muhimu popote ambapo nafasi za matokeo au seti za wagombea ni kubwa, kama vile urejeshaji na wapendekezaji wa kiwango kikubwa.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Negative Sampling and Noise Contrastive Estimation quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Sampuli Hasi na Makadirio ya Kinyume cha Kelele ni nini?
Sampuli hasi na Ukadiriaji wa Kinyume cha Kelele (NCE) ni mbinu ambazo huruhusu wanamitindo kujifunza juu ya msamiati mkubwa bila kukokotoa laini kamili ya gharama ya juu. Badala ya kupata matokeo yote yanayowezekana, wanafundisha mfano kusema mifano halisi (chanya) kutoka kwa wachache wa bandia (hasi).
Je, sampuli hasi na NCE hutatua tatizo gani kimsingi?
Mbinu zote mbili huepuka kusawazisha juu ya msamiati mkubwa kwa kuweka upya mafunzo kama ubaguzi wa bei nafuu zaidi.
Je, Kadirio la Kinyume cha Kelele huwekaje upya jukumu la kujifunza?
NCE hufunza modeli kutofautisha sampuli halisi kutoka kwa sampuli zinazotolewa kutoka kwa usambazaji wa kelele unaojulikana.
Ni modeli gani iliyoeneza sampuli hasi za kujifunza upachikaji wa maneno?
Sampuli hasi ilianzishwa na kujulikana na lahaja ya skip-gram ya word2vec.
Sampuli hasi inatofautiana vipi na NCE kamili?
Sampuli hasi hurahisisha NCE kwa kuondoa urekebishaji, biashara ya usahihi wa uwezekano kwa kasi na upachikaji mzuri.
Kwa nini hasi mara nyingi huchukuliwa kutoka kwa usambazaji wa unigram huinuliwa hadi nguvu 3/4?
Kipeo 0.75 hurahisisha usambazaji wa masafa ili maneno ya kawaida yasitawale na maneno adimu bado yanaonekana.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii