Word2Vec Rekọja-Gramu ati CBOW
Word2Vec jẹ ilana 2013 lati ọdọ Google ti o kọ ẹkọ awọn ọrọ ti o nipọn nipa sisọ asọtẹlẹ awọn ọrọ lati ọdọ awọn aladugbo wọn, titan ede si geometry nibiti awọn ọrọ ti o jọra joko ni isunmọ.
Akopọ
O ṣe afiwe olokiki "ọba - ọkunrin + obinrin ≈ ayaba" ati pe o bẹrẹ akoko ifibọ igbalode.
Jin Dive
Word2Vec, ti Tomas Mikolov ati awọn ẹlẹgbẹ rẹ ṣe afihan ni Google ni ọdun 2013, kọ ẹkọ fekito kan (paapaa awọn nọmba 100-300) fun ọrọ kọọkan nipasẹ ikẹkọ nẹtiwọọki aijinile-Layer meji ti aijinile lori ferese ọrọ sisọ kan. O wa ni awọn adun meji. CBOW (Apo Awọn Ọrọ Ilọsiwaju) gba awọn ọrọ ọrọ agbegbe ati sọ asọtẹlẹ ọrọ aarin ti o padanu, ni aropin awọn adaṣe ọrọ-ọrọ papọ. Skip-Gram yi eyi pada: o gba ọrọ aarin o gbiyanju lati ṣe asọtẹlẹ ọrọ-ọrọ agbegbe kọọkan. Awọn awoṣe ko bikita nipa iṣẹ-ṣiṣe asọtẹlẹ funrararẹ; ibi-afẹde ni matrix iwuwo ti o kọ ni ọna, ti awọn ori ila rẹ di awọn olutọpa ọrọ. Awọn ọrọ ti o han ni iru awọn ipo-ọrọ pari pẹlu awọn apanirun ti o jọra, yiyatọ itumọ nikan lati isẹlẹ-iṣẹlẹ.
Imọ-imọ-ẹrọ
Ikẹkọ softmax ni kikun lori ọrọ-ọrọ ti o lọra pupọ, nitorinaa Word2Vec nlo awọn ẹtan bii iṣapẹẹrẹ odi, eyiti o ṣe atunṣe asọtẹlẹ bi ipinya alakomeji: ṣe iyatọ ọrọ ọrọ ọrọ otitọ kan lati ọwọ diẹ ti awọn ọrọ “odi” laileto. O tun ṣe apẹrẹ awọn ọrọ loorekoore bii “awọn” o si nlo pinpin-igbega-si-0.75 unigram lati mu awọn odi. CBOW yiyara ati dara julọ fun awọn ọrọ loorekoore; Rekọja Giramu pẹlu iṣapẹẹrẹ odi mu awọn ọrọ toje ati kekere corpora dara julọ.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Word2Vec Skip-Gram ati CBOW
Awọn ifibọ aimi bii Word2Vec ti rọpo pupọ nipasẹ awọn awoṣe ọrọ-ọrọ (ELMo, BERT, awọn oluyipada) ti o fun ọrọ kan yatọ si awọn adaṣe ti o da lori ọrọ ọrọ, yanju iṣoro polysemy nibiti “ifowo” ni fekito ti o wa titi kan. Sibẹsibẹ Word2Vec duro nibiti iyara, ayedero, ati ọrọ itumọ: awọn ọna ṣiṣe iṣeduro, wiwa, ati bi ipilẹ ẹkọ. Ero pataki rẹ, itumọ ti o jade lati awọn iṣiro isẹlẹ-iṣẹlẹ, jẹ ipilẹ ipilẹ ti gbogbo awọn awoṣe ede ode oni.
Real-World imuse
Spotify ati Airbnb ṣe atunṣe Skip-Gram lati kọ awọn ifibọ ti awọn orin ati awọn atokọ ("item2vec") lati awọn ilana igba olumulo fun awọn iṣeduro
Ṣiṣawari itumọ itumọ agbara ati imugboroosi ọrọ-ọrọ bẹ ibeere kan fun “kọǹpútà alágbèéká” tun dada “bookbook” ati “kọmputa”
Ṣiṣawari awọn afiwe ati awọn ibatan ninu ọrọ, bii awọn orisii orilẹ-ede olu-ilu (Paris jẹ si Faranse bi Tokyo ti jẹ si Japan)
Bibẹrẹ ipele titẹ sii ti awọn opo gigun ti NLP nla fun itupalẹ itara ati ipinya iwe lori data to lopin
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Word2Vec Skip-Gram and CBOW quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn nẹtiwọki Opopona ati Rekọja Awọn isopọ
Awọn ibeere ti a beere nigbagbogbo
Kini Word2Vec Skip-Gram ati CBOW?
Word2Vec jẹ ilana 2013 lati ọdọ Google ti o kọ ẹkọ awọn ọrọ ti o nipọn nipa sisọ asọtẹlẹ awọn ọrọ lati ọdọ awọn aladugbo wọn, titan ede si geometry nibiti awọn ọrọ ti o jọra joko ni isunmọ. O jẹ ki olokiki “ọba - ọkunrin + obinrin ≈ ayaba” ni apéerẹìgbìyànjú ṣee ṣe ati bẹrẹ akoko ifisinu ode oni.
Kini asọtẹlẹ Skip-Gram faaji?
Skip-Gram gba ọrọ aarin kan ṣoṣo o gbiyanju lati ṣe asọtẹlẹ ọkọọkan awọn ọrọ ọrọ agbegbe rẹ, idakeji ti CBOW.
Kini abajade iwulo gangan ti ikẹkọ awoṣe Word2Vec kan?
Iṣẹ-ṣiṣe asọtẹlẹ jẹ ọna kan si opin; ibi-afẹde ni matrix iwuwo ti o kọ ẹkọ ti awọn ori ila di awọn ifibọ ọrọ ipon.
Kini idi ti Word2Vec nlo iṣapẹẹrẹ odi?
Iṣapẹẹrẹ odi ṣe atunṣe iṣoro naa bi ipinya alakomeji si awọn ọrọ lairotẹlẹ diẹ, yago fun softmax ti o ni idiyele lori ẹgbẹẹgbẹrun awọn ọrọ.
Ewo ni iyatọ Word2Vec ni gbogbogbo ṣe dara julọ lori awọn ọrọ toje ati awọn ipilẹ data kekere?
Skip-Gram pẹlu iṣapẹẹrẹ odi duro lati mu awọn ọrọ toje mu dara julọ, lakoko ti CBOW yiyara ati ṣe ojurere awọn ọrọ loorekoore.
Ohun-ini olokiki wo ti Word2Vec vectors jẹ alaworan nipasẹ “ọba - ọkunrin + obinrin ≈ ayaba”?
Awọn olutọpa Word2Vec ṣe koodu awọn ibatan ki awọn afiwe itumọ le ṣee yanju pẹlu afikun fekito ti o rọrun ati iyokuro.