ELMo Contextual ifibọ
ELMo (Awọn ifibọ lati Awọn awoṣe Ede) jẹ aṣeyọri 2018 ti o fun ọrọ kọọkan ni aṣoju ti o ṣe apẹrẹ nipasẹ gbolohun ọrọ rẹ, nitorina 'ifowo' ni 'ifowo odo' yatọ si 'ifowo' ni 'ifowo ifowopamọ.' O samisi iyipada lati awọn olutọpa ọrọ aimi si NLP ti o mọ ọrọ-ọrọ.
Jin Dive
ELMo, ti a ṣe nipasẹ Ile-ẹkọ Allen fun awọn oniwadi AI (Peters et al., 2018), ṣe agbejade awọn aṣoju ọrọ nipa ṣiṣiṣẹ gbolohun ọrọ kan nipasẹ awoṣe ede bidirectional LSTM ti o jinlẹ ti oṣiṣẹ lori bilionu-ọrọ corpus. Ko dabi Word2Vec tabi GloVe, eyiti o yan fekito ti o wa titi kan fun ọrọ kan, ELMo ṣe iṣiro fekito tuntun fun gbogbo iṣẹlẹ ti o da lori agbegbe agbegbe. Ni pataki, ELMo daapọ gbogbo awọn fẹlẹfẹlẹ LSTM inu nipasẹ ikẹkọ, awọn iwuwo pato-ṣiṣe dipo lilo Layer oke nikan. Awọn fẹlẹfẹlẹ isalẹ ṣọ lati gba sintasi (apakan-ọrọ, igbekalẹ) lakoko ti awọn ipele ti o ga julọ mu awọn atunmọ ati oye ọrọ. Ṣafikun ELMo si awọn awoṣe ti o wa tẹlẹ ṣe awọn anfani nla kọja awọn iṣẹ ṣiṣe ala-ilẹ mẹfa, pẹlu idahun ibeere, itupalẹ imọlara, ati idanimọ nkan ti a darukọ.
Imọ-imọ-ẹrọ
ELMo ṣe akopọ LSTM meji: awoṣe ede iwaju ti n sọ asọtẹlẹ ọrọ ti o tẹle ati sẹhin ti o sọ asọtẹlẹ ọrọ iṣaaju, ọkọọkan ju ipele kikọ CNN awọn igbewọle (nitorinaa o mu awọn ọrọ ti a ko rii). Fun iṣẹ-ṣiṣe ti o wa ni isalẹ, ELMo kọlu awọn aṣoju Layer ni lilo awọn iwọn wiwọ-ṣe deede softmax pẹlu iwọn iwọn kan, gbogbo wọn kọ ẹkọ lakoko iṣatunṣe didara. Eyi tumọ si pe iṣẹ-ṣiṣe kọọkan le pinnu iye syntactic dipo ifihan agbara atunmọ ti o fẹ lati biLM ti a ti kọkọ tẹlẹ tutunini.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti ELMo Contextual ifibọ
Ero pataki ti ELMo, awọn aṣoju ọrọ-ọrọ lati ikẹkọ awoṣe-ede, di ipilẹ, ṣugbọn ile-itumọ LSTM loorekoore rẹ yarayara nipasẹ awọn awoṣe ti o da lori Transformer bi BERT ni ipari ọdun 2018, eyiti o ka awọn gbolohun ọrọ gbogbo ni afiwe ati iwọn dara julọ. Loni ELMo jẹ pataki ti itan ati pataki eto-ẹkọ, botilẹjẹpe mimu kikọ sii-CNN ti ohun kikọ silẹ ati awọn imọran iwuwo-ipin tun ni ipa lori iṣẹ ifisinu amọja ni awọn orisun kekere ati awọn ede ọlọrọ nipa ẹda.
Real-World imuse
Ilọsiwaju awọn ọna ṣiṣe idanimọ nkan ti o ni orukọ ti o gbọdọ sọ boya 'Washington' tọka si eniyan, ipinlẹ, tabi ilu ti o da lori awọn ọrọ agbegbe
Igbelaruge itara nipa yiya pe 'aisan' tumo si odi ni 'Mo lero aisan' ṣugbọn rere ni slang 'iyẹn aisan'
Imudara awọn ọna ṣiṣe idahun ibeere lori aami ala SQuAD nipa kikọ sii awọn ami-itọka ọrọ-ọrọ sinu oluka
Itumọ awọn oye ọrọ ni itumọ ẹrọ nitorina awọn ọrọ ilopọ bi 'ọgbin' tumọ ọrọ ti a fun ni deede
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ELMo Contextual Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn ifibọ Ọrọ
Awọn ibeere ti a beere nigbagbogbo
What is ELMo Contextual Embeddings?
ELMo (Awọn ifibọ lati Awọn awoṣe Ede) jẹ aṣeyọri 2018 ti o fun ọrọ kọọkan ni aṣoju ti o ṣe apẹrẹ nipasẹ gbolohun ọrọ rẹ, nitorina 'ifowo' ni 'ifowo odo' yatọ si 'ifowo' ni 'ifowo ifowopamọ.' O samisi iyipada lati awọn olutọpa ọrọ aimi si NLP ti o mọ ọrọ-ọrọ.
Kini iyatọ bọtini laarin ELMo ati awọn ifibọ iṣaaju bii Word2Vec?
ELMo ṣe agbejade awọn ifibọ ọrọ-ọrọ: fekito fun iyipada ọrọ ti o da lori gbolohun agbegbe, ko dabi fekito ti o wa titi Word2Vec fun ọrọ kan.
Kini faaji nkankikan ti ELMo lo lati ka ọrọ?
ELMo ti wa ni itumọ ti lori LSTM bidirectional ti o jinlẹ ti o ni ikẹkọ bi awoṣe ede, awọn ilana ṣiṣe loorekoore.
Bawo ni ELMo ṣe darapo awọn ipele inu rẹ fun iṣẹ-ṣiṣe ti isalẹ?
ELMo kọ ẹkọ iṣẹ-ṣiṣe-pato softmax-normized òṣuwọn lati darapo gbogbo biLM fẹlẹfẹlẹ, jẹ ki iṣẹ-ṣiṣe kọọkan rinlẹ sintasi tabi atunmọ bi ti nilo.
Kini ELMo nlo gẹgẹbi awọn ẹya titẹ sii lati mu awọn ọrọ ti a ko ri?
ELMo kọ awọn igbewọle ọrọ lati CNN ipele ti ohun kikọ silẹ, nitorinaa o le ṣe aṣoju awọn ọrọ ti ko rii rara lakoko ikẹkọ.
Ni aijọju nigbawo ni a ṣe afihan ELMo ati nipasẹ tani?
ELMo ni a tẹjade ni ọdun 2018 nipasẹ Peters et al. ni Allen Institute for AI (AI2).