Iṣapẹẹrẹ odi ati Iṣiro Idiyele Ariwo
Iṣapẹẹrẹ odi ati Ifoju Idiyele Noise (NCE) jẹ ẹtan ti o jẹ ki awọn awoṣe kọ ẹkọ lori awọn fokabulari nla laisi iṣiro idiyele ni kikun softmax.
Akopọ
Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.
Jin Dive
Nigbati fokabulari ba ni awọn ọgọọgọrun awọn ọrọ, softmax deede gbọdọ ṣe deede lori gbogbo ọrọ fun igbesẹ ikẹkọ kọọkan - o lọra pupọ. Ariwo Contrastive Estimation reframes awọn isoro bi alakomeji classification: fi fun a afojusun ati ki o kan diẹ 'ariwo' awọn ayẹwo kale lati a mọ pinpin, ko lati se iyato awọn otito ayẹwo lati ariwo, eyi ti laisọfa pada awọn iṣeeṣe ti o fẹ lai fojuhan normalization. Iṣapẹẹrẹ odi, ti o gbajumọ nipasẹ awoṣe skip-gram word2vec, jẹ ibatan ti o rọrun: fun otitọ kọọkan (ọrọ, ọrọ-ọrọ) so awọn apẹẹrẹ k awọn odi ati kọ awoṣe lati fi Dimegilio giga si bata gidi ati Dimegilio kekere si awọn iro, ni lilo ibi-afẹde sigmoid kan. Mejeeji tan iṣoro kilasi-pupọ gbowolori sinu ọpọlọpọ awọn alakomeji olowo poku, ṣiṣe ikẹkọ ifisinu iwọn nla ni ilowo. Yiyan pinpin ariwo (nigbagbogbo unigram dide si agbara 3/4) ni ipa lori didara.
Imọ-imọ-ẹrọ
NCE ṣe iṣiro awoṣe kan nipa tito lẹtọ data dipo ariwo, ati bi nọmba awọn ayẹwo ariwo ṣe n dagba, o ṣee ṣe isunmọ o pọju-iṣeeṣe pẹlu softmax deede deede. Iṣapẹẹrẹ odi silẹ awọn ofin isọdọtun NCE patapata, iṣapeye log σ( Dimegilio rere) + Σ log σ(- Dimegilio odi). Iyẹn jẹ ki o yara ṣugbọn kii ṣe iṣiro iwuwo iwuwo deede - o jẹ aifwy fun kikọ awọn ifibọ ti o dara ju awọn iṣeeṣe iwọnwọn lọ. Iṣapẹẹrẹ awọn odi lati pinpin unigram didan (igbohunsafẹfẹ ^ 0.75) ṣe iwọntunwọnsi ti o wọpọ ati awọn ọrọ toje.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Iṣayẹwo odi ati Ifoju Idiyele Ariwo
Ero pataki - kọ ẹkọ nipasẹ awọn iyatọ ti o dara lodi si awọn odi ti a ṣe ayẹwo - ni bayi ṣe atilẹyin abojuto ara ẹni ode oni ati ikẹkọ oniduro iyatọ kọja iran, ede, ati iṣeduro. Iṣẹ iwaju ṣe idojukọ lori iwakusa odi lile (yiyan awọn odi alaye dipo awọn ti aileto), iṣojuuwọn fun awọn odi eke, ati iwọn awọn odi laini nipasẹ awọn banki iranti nla tabi iṣapẹẹrẹ inu-ipele. Bi awọn awoṣe ti ndagba, awọn ibi-apejuwe ti o munadoko jẹ pataki nibikibi ti awọn alafo ti o jade tabi awọn eto oludije jẹ nla, gẹgẹbi igbapada ati awọn oludamoran iwọn-nla.
Real-World imuse
word2vec skip-gram pẹlu awọn ifibọ ọrọ kikọ iṣapẹẹrẹ odi lati awọn ọkẹ àìmọye ti awọn ami laisi softmax kikun.
Awọn awoṣe ede ni itan-akọọlẹ lilo NCE lati ṣe ikẹkọ lori awọn ọrọ ti awọn ọgọọgọrun egbegberun awọn ọrọ daradara.
Iṣeduro ati igbapada awọn ọna ṣiṣe iṣapẹẹrẹ awọn nkan 'odi' olumulo kan ko ṣe ajọṣepọ pẹlu awọn awoṣe ifibọ ile-iṣọ meji.
Awọn ifisinu aworan ati imọ-aworan (fun apẹẹrẹ, ibajẹ ori meteta tabi iru) ni lilo awọn apẹẹrẹ odi lati kọ awọn ibatan nkan kan.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Negative Sampling and Noise Contrastive Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Online ati Lile Negetifu Mining
Awọn ibeere ti a beere nigbagbogbo
What is Negative Sampling and Noise Contrastive Estimation?
Iṣapẹẹrẹ odi ati Ifoju Idiyele Noise (NCE) jẹ ẹtan ti o jẹ ki awọn awoṣe kọ ẹkọ lori awọn fokabulari nla laisi iṣiro idiyele ni kikun softmax. Dipo ti igbelewọn gbogbo abajade ti o ṣeeṣe, wọn kọ awoṣe lati sọ awọn apẹẹrẹ gidi (rere) lati ọwọ diẹ ti iro (odi).
Iṣoro wo ni iṣapẹẹrẹ odi ati NCE yanju ni akọkọ?
Awọn ọna mejeeji yago fun ṣiṣe deede lori awọn fokabulari nla nipasẹ ikẹkọ atunṣe bi iyasoto alakomeji din owo.
Bawo ni Ifoju Itansan Ariwo ṣe atunṣe iṣẹ-ṣiṣe ikẹkọ naa?
NCE ṣe ikẹkọ awoṣe lati ṣe iyatọ awọn ayẹwo gidi lati awọn apẹẹrẹ ti a fa lati pinpin ariwo ti a mọ.
Awoṣe wo ni o gbajumọ iṣapẹẹrẹ odi fun kikọ awọn ifibọ ọrọ?
Iṣapẹẹrẹ odi ni a ṣe afihan ati ti o gbajumọ nipasẹ iyatọ skip-gram ti word2vec.
Bawo ni iṣapẹẹrẹ odi ṣe yatọ si NCE ni kikun?
Iṣapẹẹrẹ odi jẹ ki NCE rọrun nipasẹ yiyọkuro isọdọtun, iṣatunṣe iṣeeṣe iṣowo fun iyara ati awọn ifibọ to dara.
Kini idi ti awọn odi nigbagbogbo ṣe apẹẹrẹ lati pinpin unigram dide si agbara 3/4?
Olupilẹṣẹ 0.75 jẹ ki pinpin igbohunsafẹfẹ jẹ ki awọn ọrọ ti o wọpọ ko jẹ gaba lori ati pe awọn ọrọ toje ṣi han.