Upachikaji wa Muktadha wa ELMo
ELMo (Embeddings from Language Models) ilikuwa mafanikio ya 2018 ambayo yalitoa kila neno uwakilishi unaoundwa na sentensi yake, kwa hivyo 'benki' katika 'benki ya mto' inatofautiana na 'benki' katika 'benki ya akiba.' Iliashiria mabadiliko kutoka kwa vekta za maneno tuli hadi NLP inayofahamu muktadha.
Dive ya kina
ELMo, iliyoletwa na Taasisi ya Allen ya watafiti wa AI (Peters et al., 2018), hutoa uwakilishi wa maneno kwa kutumia sentensi kupitia modeli ya kina ya lugha ya LSTM yenye maelekezo mawili iliyofunzwa kwenye mkusanyiko wa maneno mabilioni. Tofauti na Word2Vec au GloVe, ambayo huweka vekta moja isiyobadilika kwa kila neno, ELMo hukusanya vekta mpya kwa kila tukio kulingana na muktadha unaozunguka. Muhimu, ELMo inachanganya tabaka zote za ndani za LSTM kupitia uzani uliojifunza, mahususi wa kazi badala ya kutumia safu ya juu pekee. Tabaka za chini huwa zinanasa sintaksia (sehemu-ya-hotuba, muundo) huku tabaka za juu zikinasa semantiki na maana ya neno. Kuongeza ELMo kwa miundo iliyopo kumeleta faida kubwa katika kazi sita za kielelezo, ikijumuisha kujibu maswali, uchanganuzi wa maoni na utambuzi wa huluki.
Ufahamu wa Kiufundi
ELMo hupanga LSTM mbili: muundo wa lugha ya mbele unaotabiri neno linalofuata na ule wa nyuma unaotabiri neno lililotangulia, kila moja juu ya viingizi vya CNN vya kiwango cha herufi (kwa hivyo hushughulikia maneno yasiyoonekana). Kwa kazi ya chini ya mkondo, ELMo hukunja uwasilishaji wa safu kwa kutumia uzani uliosawazishwa na laini ya upeo wa juu pamoja na koleo, yote ambayo hujifunza wakati wa kupanga vyema. Hii inamaanisha kuwa kila kazi inaweza kuamua ni ishara ngapi ya kisintaksia dhidi ya kisemantiki inachotaka kutoka kwa biLM iliyogandishwa mapema.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Upachikaji wa Muktadha wa ELMo
Wazo la msingi la ELMo, uwasilishaji wa muktadha kutoka kwa mafunzo ya awali ya modeli ya lugha, likawa msingi, lakini usanifu wake wa kawaida wa LSTM ulifichwa haraka na miundo inayotegemea Transfoma kama BERT mwishoni mwa 2018, ambayo ilisoma sentensi nzima sambamba na kufikia kiwango bora zaidi. Leo, ELMo ni ya umuhimu wa kihistoria na kielimu, ingawa ushughulikiaji wa ingizo wa wahusika-CNN na mawazo ya kupima tabaka bado huathiri kazi maalum ya upachikaji katika lugha zenye rasilimali ya chini na lugha tajiri kimofolojia.
Utekelezaji wa Ulimwengu Halisi
Kuboresha mifumo ya utambuzi wa huluki iliyopewa jina ambayo lazima ieleze ikiwa 'Washington' inarejelea mtu, jimbo au jiji kulingana na maneno yanayozunguka.
Kukuza uchanganuzi wa hisia kwa kukamata kuwa 'mgonjwa' kunamaanisha hasi katika 'ninahisi mgonjwa' lakini chanya katika lugha ya lugha ya 'ni mgonjwa'
Kuimarisha mifumo ya kujibu maswali kwenye kigezo cha SQUAD kwa kulisha vekta za tokeni zinazozingatia muktadha ndani ya msomaji.
Kutofautisha hisi za neno katika tafsiri ya mashine kwa hivyo maneno mengi kama vile 'plant' hutafsiri muktadha uliotolewa kwa usahihi
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ELMo Contextual Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Upachikaji wa Maneno
Maswali yanayoulizwa mara kwa mara
What is ELMo Contextual Embeddings?
ELMo (Embeddings from Language Models) ilikuwa mafanikio ya 2018 ambayo yalitoa kila neno uwakilishi unaoundwa na sentensi yake, kwa hivyo 'benki' katika 'benki ya mto' inatofautiana na 'benki' katika 'benki ya akiba.' Iliashiria mabadiliko kutoka kwa vekta za maneno tuli hadi NLP inayofahamu muktadha.
Ni tofauti gani kuu kati ya ELMo na upachikaji wa mapema kama Word2Vec?
ELMo hutoa upachikaji wa muktadha: vekta ya neno hubadilika kulingana na sentensi inayozunguka, tofauti na vekta moja isiyobadilika ya Word2Vec kwa kila neno.
ELMo hutumia usanifu gani wa neva kusoma maandishi?
ELMo imeundwa kwenye LSTM yenye mwelekeo wa pande mbili iliyofunzwa kama modeli ya lugha, kuchakata mifuatano mara kwa mara.
ELMo inachanganyaje tabaka zake za ndani kwa kazi ya chini ya mkondo?
ELMo hujifunza uzani mahususi uliosawazishwa na laini ya upeo wa kawaida ili kuchanganya tabaka zote za biLM, ikiruhusu kila kazi kusisitiza sintaksia au semantiki inavyohitajika.
ELMo hutumia nini kama vitengo vyake vya ingizo kushughulikia maneno yasiyoonekana?
ELMo huunda viingizi vya maneno kutoka kwa CNN ya kiwango cha wahusika, kwa hivyo inaweza kuwakilisha maneno ambayo haijawahi kuona wakati wa mafunzo.
ELMo ilianzishwa lini na nani?
ELMo ilichapishwa mnamo 2018 na Peters et al. katika Taasisi ya Allen ya AI (AI2).