Ubuyobozi bwa tekiniki

Kugereranya nabi no gusakuza kugereranya

Gutoranya nabi hamwe no Kugereranya Urusaku (NCE) ni amayeri areka abanyamideli biga hejuru yamagambo manini batabanje kubara software yuzuye ihenze.

Umva iki gitaboAI-byavuzwe · ~2 min

Kuriyi page2 min soma
  1. Incamake
  2. Kwibira cyane
  3. Gushyira mu bikorwa Isi
  4. Ejo hazaza h'icyitegererezo kibi no kugereranya urusaku
  5. Kubishyira mubikorwa
  6. Komeza Ubushakashatsi
  7. Ibibazo bikunze kubazwa

Incamake

Aho gutsinda amanota yose ashoboka, bigisha icyitegererezo kuvuga ingero zifatika (nziza) zivuye mubitigiri byimpimbano (bibi).

Kwibira cyane

Iyo amagambo afite amagambo ibihumbi magana, softmax isanzwe igomba guhinduka kuri buri jambo kuri buri ntambwe yo gutoza - buhoro cyane. Urusaku rutandukanye rwo kugereranya rusubiramo ikibazo nkuburyo bubiri: ukurikije intego hamwe n '' urusaku 'ruto rwakuwe mubisaranganywa bizwi, wige gutandukanya icyitegererezo nyacyo n urusaku, rusubizamo byimazeyo ibyifuzo byateganijwe bitari bisanzwe. Icyitegererezo kibi, cyamamaye kubijyanye na skip-gram yerekana ijambo2vec, ni mubyara woroheje: kuri buri kintu cyukuri (ijambo, imiterere) byombi byerekana urugero k ibibi kandi bigatoza icyitegererezo cyo gutanga amanota menshi kubantu nyabo hamwe n amanota make kuri feke, ukoresheje intego ya sigmoid. Byombi bihindura ikibazo gihenze cyibyiciro byinshi muburyo bubiri buhendutse, bigatuma amahugurwa manini yo gushira mubikorwa. Guhitamo gukwirakwiza urusaku (akenshi unigram yazamutse kuri 3/4 imbaraga) bigira ingaruka nziza kubwiza.

Gushyira mu bikorwa Isi

ijambo2vec gusimbuka-garama hamwe nicyitegererezo cyiza cyo kwiga ijambo gushiramo kuva miriyari ya tokens idafite softmax yuzuye.

Ururimi rwicyitegererezo mu mateka ukoresheje NCE kugirango uhugure hejuru yamagambo ibihumbi magana yamagambo neza.

Sisitemu yo kugarura no kugarura ibintu byerekana 'ibintu bibi' umukoresha atigeze akorana nogutoza iminara ibiri yo gushyiramo iminara.

Igishushanyo n'ubumenyi-bishushanya (urugero, kwangiza umutwe wa gatatu cyangwa umurizo) ukoresheje ingero mbi kugirango wige umubano wibintu.

Ejo hazaza h'icyitegererezo kibi no kugereranya urusaku

Igitekerezo cyibanze - wige gutandukanya ibyiza n'ibibi byiteganijwe - ubungubu ushimangira uburyo bugezweho bwo kwiyobora no kugereranya kwigira mubyerekezo, ururimi, hamwe nibyifuzo. Ibikorwa bizaza byibanda ku bucukuzi bw'amabuye y'agaciro (guhitamo ibibi bitanga amakuru aho guhitamo), gutesha agaciro ibibi, no gupima ibibi bihendutse binyuze muri banki nini zo kwibuka cyangwa mu cyitegererezo. Mugihe icyitegererezo gikura, intego zicyitegererezo zikomeza kuba ingenzi ahantu hose hasohoka umwanya cyangwa abakandida bashizeho ni nini cyane, nko kugarura no gutanga ibyifuzo binini.

Kubishyira mubikorwa

Impamvu ari ngombwa

  • Igiciro na bije. Ibyemezo byubwubatsi bitwara imikorere nigiciro cyimikorere kumyaka.
  • Ibyemezo bisobanutse. Ubuhanga bwa tekinike bufasha amakipe guhitamo umurongo ukwiye, ntabwo ari shyashya gusa.
  • Kugenzura ubuziranenge. Guhitamo neza bya injeniyeri bigabanya ibintu byizewe mubikorwa.

Witondere

  • Gutezimbere igipimo kimwe gishobora guhisha intege nke za sisitemu.
  • Ibikorwa Remezo no kubungabunga akenshi usanga bidahabwa agaciro.
  • Icyuho cyumutekano no kwitegereza birashobora kwiyongera uko sisitemu igenda igorana.

Intambwe ikurikira

  1. Sobanura ubukererwe, ubuziranenge, nigiciro cyibiciro mbere yo kubishyira mubikorwa.
  2. Ibipimo byerekana umutwaro ufatika hamwe namakuru yimiterere.
  3. Gukurikirana ibikoresho kubikosa, drift, ningaruka zabakoresha.
  4. Tegura inzira yo gusubiza ibyabaye mbere yo gupima.

Komeza Ubushakashatsi

Ibaruwa y'amakuru y'ubuntu

Ibuka amakuru ya buri munsi ya AI

Inkuru eshatu zizewe za AI buri gitondo cy'iminsi y'akazi, zanditse mu rurimi rworoshye. Ubuntu iteka ryose, nta kwamamaza.

Imeri imwe buri munsi y'akazi. Kwiyimura mu buryo bumwe. Ntitwigera tugurisha cyangwa ngo dusangire aderesi yawe.

Isuzume

Take the Negative Sampling and Noise Contrastive Estimation quiz

Ibisubizo ako kanya kuri buri kibazo, n'icyemezo gishobora gusangirwa gifite ID yagenzurwa umaze gutsinda isomo.

Tangira ikibazo

Fasha uburezi bwa AI bw'ubuntu. AI Understanding ni umuryango utegamiye kuri leta wa 501(c)(3) — nta kwamamaza, nta kwishyura, iteka ryose. Tanga impano

Ibibazo bikunze kubazwa

Ikigereranyo Cyiza no Kugereranya Ikigereranyo Niki?

Gutoranya nabi hamwe no Kugereranya Urusaku (NCE) ni amayeri areka abanyamideli biga hejuru yamagambo manini batabanje kubara software yuzuye ihenze. Aho gutsinda amanota yose ashoboka, bigisha icyitegererezo kuvuga ingero zifatika (nziza) ziva mubitigiri byimpimbano (bibi).

Ni ikihe kibazo icyitegererezo cyiza na NCE gikemura cyane?

Ubwo buryo bwombi bwirinda guhuza amagambo menshi muguhindura imyitozo nkivangura rihendutse.

Nigute Urusaku rutandukanye rwo kugereranya rusubiramo imirimo yo kwiga?

NCE itoza icyitegererezo cyo gutandukanya ingero nyazo ziteganijwe kuva urusaku ruzwi.

Niyihe moderi yakwirakwije icyitegererezo cyiza cyo kwiga gushyiramo ijambo?

Icyitegererezo cyiza cyatangijwe kandi gikundwa na skip-gram variant ya word2vec.

Ni gute icyitegererezo kibi gitandukanye na NCE yuzuye?

Icyitegererezo cyiza cyoroshya NCE mukuraho ibisanzwe, gucuruza bishoboka gukosora umuvuduko no gushiramo neza.

Ni ukubera iki ibibi byakunze gutangwa kuva kugabana unigram kuzamurwa kuri 3/4 imbaraga?

0,75 ibyerekana byorohereza gukwirakwiza inshuro kuburyo amagambo asanzwe atiganje kandi amagambo adasanzwe aracyagaragara.