Sampuli Hasi na Makadirio ya Kinyume cha Kelele
Sampuli hasi na Ukadiriaji wa Kinyume cha Kelele (NCE) ni mbinu ambazo huruhusu wanamitindo kujifunza juu ya msamiati mkubwa bila kukokotoa laini kamili ya gharama ya juu.
Muhtasari
Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.
Dive ya kina
Wakati msamiati una mamia ya maelfu ya maneno, laini ya kawaida lazima iwe ya kawaida juu ya kila neno kwa kila hatua ya mafunzo - polepole sana. Ukadiriaji wa Kinyume cha Kelele hurekebisha tatizo kama uainishaji wa mfumo wa jozi: ukipewa lengo na sampuli chache za 'kelele' zinazotolewa kutoka kwa usambazaji unaojulikana, jifunze kutofautisha sampuli ya kweli kutoka kwa kelele, ambayo hurejesha kwa njia dhahiri uwezekano unaohitajika bila kusawazisha waziwazi. Sampuli hasi, inayoangaziwa na modeli ya kuruka ya neno2vec, ni binamu iliyorahisishwa: kwa kila kweli (neno, muktadha) huoanisha sampuli za k hasi na hufunza kielelezo kugawa alama za juu kwa jozi halisi na alama za chini kwa ghushi, kwa kutumia lengo la sigmoid. Zote mbili hugeuza tatizo la gharama kubwa la tabaka nyingi kuwa la binary nyingi za bei nafuu, na kufanya mafunzo ya upachikaji wa kiwango kikubwa kuwa ya vitendo. Uchaguzi wa usambazaji wa kelele (mara nyingi unigram iliyoinuliwa kwa nguvu 3/4) huathiri sana ubora.
Ufahamu wa Kiufundi
NCE hukadiria modeli kwa kuainisha data dhidi ya kelele, na idadi ya sampuli za kelele inapoongezeka inakaribia kukadiria uwezekano wa juu zaidi kwa kutumia kiwango cha juu cha ulaini kinachofaa. Sampuli hasi hushusha masharti ya kuhalalisha ya NCE kabisa, na kuboresha kumbukumbu σ(alama chanya) + Σ logi σ(-alama hasi). Hilo huifanya iwe ya haraka zaidi lakini si tena kikadiriaji thabiti cha msongamano - imeundwa kwa ajili ya kujifunza upachikaji bora badala ya uwezekano uliorekebishwa. Sampuli hasi kutoka kwa usambazaji laini wa unigram (frequency^0.75) husawazisha maneno ya kawaida na adimu.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Sampuli Hasi na Makadirio ya Kinyume cha Kelele
Wazo la msingi - jifunze kwa kulinganisha chanya dhidi ya sampuli hasi - sasa inasisitiza ujifunzaji wa kisasa wa kujisimamia na uwakilishi tofauti katika maono, lugha na mapendekezo. Kazi ya siku za usoni inaangazia uchimbaji madini hasi (kuchagua hasi za kuarifu badala ya zile za nasibu), kupinga maoni hasi ya uwongo, na kuongeza hasi kwa bei nafuu kupitia hifadhi kubwa za kumbukumbu au sampuli za ndani ya kundi. Miundo inapokua, malengo bora ya sampuli yanasalia kuwa muhimu popote ambapo nafasi za matokeo au seti za wagombea ni kubwa, kama vile urejeshaji na wapendekezaji wa kiwango kikubwa.
Utekelezaji wa Ulimwengu Halisi
word2vec skip-gram na sampuli hasi za upachikaji wa maneno kutoka kwa mabilioni ya tokeni bila softmax kamili.
Miundo ya lugha kihistoria inayotumia NCE kutoa mafunzo juu ya misamiati ya mamia ya maelfu ya maneno kwa ufanisi.
Mifumo ya mapendekezo na urejeshaji sampuli ya vipengee 'hasi' ambavyo mtumiaji hakuingiliana navyo ili kutoa mafunzo kwa miundo ya upachikaji wa minara miwili.
Upachikaji wa grafu na maarifa (k.m., kuharibu kichwa au mkia wa triple) kwa kutumia sampuli hasi kujifunza mahusiano ya huluki.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Negative Sampling and Noise Contrastive Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Uchimbaji Mkondoni na Mgumu Hasi
Maswali yanayoulizwa mara kwa mara
What is Negative Sampling and Noise Contrastive Estimation?
Sampuli hasi na Ukadiriaji wa Kinyume cha Kelele (NCE) ni mbinu ambazo huruhusu wanamitindo kujifunza juu ya msamiati mkubwa bila kukokotoa laini kamili ya gharama ya juu. Badala ya kupata matokeo yote yanayowezekana, wanafundisha mfano kusema mifano halisi (chanya) kutoka kwa wachache wa bandia (hasi).
Je, sampuli hasi na NCE hutatua tatizo gani kimsingi?
Mbinu zote mbili huepuka kusawazisha juu ya msamiati mkubwa kwa kuweka upya mafunzo kama ubaguzi wa bei nafuu zaidi.
Je, Kadirio la Kinyume cha Kelele huwekaje upya jukumu la kujifunza?
NCE hufunza modeli kutofautisha sampuli halisi kutoka kwa sampuli zinazotolewa kutoka kwa usambazaji wa kelele unaojulikana.
Ni modeli gani iliyoeneza sampuli hasi za kujifunza upachikaji wa maneno?
Sampuli hasi ilianzishwa na kujulikana na lahaja ya skip-gram ya word2vec.
Sampuli hasi inatofautiana vipi na NCE kamili?
Sampuli hasi hurahisisha NCE kwa kuondoa urekebishaji, biashara ya usahihi wa uwezekano kwa kasi na upachikaji mzuri.
Kwa nini hasi mara nyingi huchukuliwa kutoka kwa usambazaji wa unigram huinuliwa hadi nguvu 3/4?
Kipeo 0.75 hurahisisha usambazaji wa masafa ili maneno ya kawaida yasitawale na maneno adimu bado yanaonekana.