LegközelebbKövetkező útmutató
Szóbeágyazások
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
ELMo (Embeddings from Language Models), introduced by Peters and colleagues at AI2 in 2018, creates contextual word representations from a deep bidirectional language model.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Its task-specific representation combines internal recurrent layers instead of assigning one fixed vector to each word type.
Peters et al. introduce Embeddings from Language Models (ELMo), based on a deep bidirectional LSTM language model trained on the One Billion Word Benchmark. Character convolutions produce word inputs; a forward model predicts the next token and a backward model predicts the previous token. A downstream task forms ELMo by a learned, task-specific weighted combination of internal layers. The paper reports evaluations on six benchmark tasks. Those results describe the paper’s models and experiments, not a general ranking against later systems. The authors analyze layer behavior: lower layers tend to encode syntactic information, while upper layers can carry more context-dependent semantic information; these are reported tendencies, not strict layer guarantees.
Paper evaluation: the ELMo paper reports results on six downstream benchmarks, including question answering and named-entity recognition.
Paper architecture: forward and backward language models read character-CNN word inputs.
Paper method: learned task-specific weights combine representations from the language-model layers.
Illustrative use: compare contextual and static representations on a task with context-dependent word meaning.
To evaluate contextual representations, compare on the intended task and data, with matched training and evaluation conditions. This guide makes no claim that ELMo was universally replaced by a particular later architecture; such comparisons require their own sources and controlled evidence.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
ELMo (Embeddings from Language Models), introduced by Peters and colleagues at AI2 in 2018, creates contextual word representations from a deep bidirectional language model. Its task-specific representation combines internal recurrent layers instead of assigning one fixed vector to each word type.
Az ELMo kontextuális beágyazást hoz létre: a szó vektora a környező mondat alapján változik, ellentétben a Word2Vec szónkénti egyetlen rögzített vektorával.
Az ELMo egy mély kétirányú LSTM-re épül, amelyet nyelvi modellként képeztek, és rendszeresen feldolgozza a szekvenciákat.
Az ELMo megtanulja a feladatspecifikus softmax-normalizált súlyozásokat az összes biLM-réteg kombinálásához, lehetővé téve az egyes feladatoknak, hogy szükség szerint hangsúlyozzák a szintaxist vagy a szemantikát.
Az ELMo karakterszintű CNN-ből építi fel a szóbevitelt, így képes olyan szavakat reprezentálni, amelyeket edzés közben nem látott.
Az ELMo-t 2018-ban publikálták Peters et al. az Allen Institute for AI-ben (AI2).
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Szóbeágyazások
Nyelvi AI