Up tókànItọsọna atẹle
Online ati Lile Negetifu Mining
Imọ-ẹrọ
Imọ Itọsọna
Iṣapẹẹrẹ odi ati Iṣiro Idiyele Ariwo
Iṣapẹẹrẹ odi ati Ifoju Idiyele Noise (NCE) jẹ ẹtan ti o jẹ ki awọn awoṣe kọ ẹkọ lori awọn fokabulari nla laisi iṣiro idiyele ni kikun softmax.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.
Jin Dive
Nigbati fokabulari ba ni awọn ọgọọgọrun awọn ọrọ, softmax deede gbọdọ ṣe deede lori gbogbo ọrọ fun igbesẹ ikẹkọ kọọkan - o lọra pupọ. Ariwo Contrastive Estimation reframes awọn isoro bi alakomeji classification: fi fun a afojusun ati ki o kan diẹ 'ariwo' awọn ayẹwo kale lati a mọ pinpin, ko lati se iyato awọn otito ayẹwo lati ariwo, eyi ti laisọfa pada awọn iṣeeṣe ti o fẹ lai fojuhan normalization. Iṣapẹẹrẹ odi, ti o gbajumọ nipasẹ awoṣe skip-gram word2vec, jẹ ibatan ti o rọrun: fun otitọ kọọkan (ọrọ, ọrọ-ọrọ) so awọn apẹẹrẹ k awọn odi ati kọ awoṣe lati fi Dimegilio giga si bata gidi ati Dimegilio kekere si awọn iro, ni lilo ibi-afẹde sigmoid kan. Mejeeji tan iṣoro kilasi-pupọ gbowolori sinu ọpọlọpọ awọn alakomeji olowo poku, ṣiṣe ikẹkọ ifisinu iwọn nla ni ilowo. Yiyan pinpin ariwo (nigbagbogbo unigram dide si agbara 3/4) ni ipa lori didara.
Real-World imuse
word2vec skip-gram pẹlu awọn ifibọ ọrọ kikọ iṣapẹẹrẹ odi lati awọn ọkẹ àìmọye ti awọn ami laisi softmax kikun.
Awọn awoṣe ede ni itan-akọọlẹ lilo NCE lati ṣe ikẹkọ lori awọn ọrọ ti awọn ọgọọgọrun egbegberun awọn ọrọ daradara.
Iṣeduro ati igbapada awọn ọna ṣiṣe iṣapẹẹrẹ awọn nkan 'odi' olumulo kan ko ṣe ajọṣepọ pẹlu awọn awoṣe ifibọ ile-iṣọ meji.
Awọn ifisinu aworan ati imọ-aworan (fun apẹẹrẹ, ibajẹ ori meteta tabi iru) ni lilo awọn apẹẹrẹ odi lati kọ awọn ibatan nkan kan.
Ojo iwaju ti Iṣayẹwo odi ati Ifoju Idiyele Ariwo
Ero pataki - kọ ẹkọ nipasẹ awọn iyatọ ti o dara lodi si awọn odi ti a ṣe ayẹwo - ni bayi ṣe atilẹyin abojuto ara ẹni ode oni ati ikẹkọ oniduro iyatọ kọja iran, ede, ati iṣeduro. Iṣẹ iwaju ṣe idojukọ lori iwakusa odi lile (yiyan awọn odi alaye dipo awọn ti aileto), iṣojuuwọn fun awọn odi eke, ati iwọn awọn odi laini nipasẹ awọn banki iranti nla tabi iṣapẹẹrẹ inu-ipele. Bi awọn awoṣe ti ndagba, awọn ibi-apejuwe ti o munadoko jẹ pataki nibikibi ti awọn alafo ti o jade tabi awọn eto oludije jẹ nla, gẹgẹbi igbapada ati awọn oludamoran iwọn-nla.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Negative Sampling and Noise Contrastive Estimation quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is Negative Sampling and Noise Contrastive Estimation?
Iṣapẹẹrẹ odi ati Ifoju Idiyele Noise (NCE) jẹ ẹtan ti o jẹ ki awọn awoṣe kọ ẹkọ lori awọn fokabulari nla laisi iṣiro idiyele ni kikun softmax. Dipo ti igbelewọn gbogbo abajade ti o ṣeeṣe, wọn kọ awoṣe lati sọ awọn apẹẹrẹ gidi (rere) lati ọwọ diẹ ti iro (odi).
Iṣoro wo ni iṣapẹẹrẹ odi ati NCE yanju ni akọkọ?
Awọn ọna mejeeji yago fun ṣiṣe deede lori awọn fokabulari nla nipasẹ ikẹkọ atunṣe bi iyasoto alakomeji din owo.
Bawo ni Ifoju Itansan Ariwo ṣe atunṣe iṣẹ-ṣiṣe ikẹkọ naa?
NCE ṣe ikẹkọ awoṣe lati ṣe iyatọ awọn ayẹwo gidi lati awọn apẹẹrẹ ti a fa lati pinpin ariwo ti a mọ.
Awoṣe wo ni o gbajumọ iṣapẹẹrẹ odi fun kikọ awọn ifibọ ọrọ?
Iṣapẹẹrẹ odi ni a ṣe afihan ati ti o gbajumọ nipasẹ iyatọ skip-gram ti word2vec.
Bawo ni iṣapẹẹrẹ odi ṣe yatọ si NCE ni kikun?
Iṣapẹẹrẹ odi jẹ ki NCE rọrun nipasẹ yiyọkuro isọdọtun, iṣatunṣe iṣeeṣe iṣowo fun iyara ati awọn ifibọ to dara.
Kini idi ti awọn odi nigbagbogbo ṣe apẹẹrẹ lati pinpin unigram dide si agbara 3/4?
Olupilẹṣẹ 0.75 jẹ ki pinpin igbohunsafẹfẹ jẹ ki awọn ọrọ ti o wọpọ ko jẹ gaba lori ati pe awọn ọrọ toje ṣi han.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii