ELMo التضمين السياقي
كان ELMo (التضمين من نماذج اللغة) بمثابة إنجاز كبير في عام 2018 حيث أعطى كل كلمة تمثيلاً يتشكل من جملتها، لذا فإن كلمة "بنك" في "بنك النهر" تختلف عن كلمة "بنك" في "بنك التوفير". لقد كان بمثابة علامة على التحول من متجهات الكلمات الثابتة إلى البرمجة اللغوية العصبية المدركة للسياق.
الغوص العميق
تنتج ELMo، التي قدمها باحثو معهد Allen للذكاء الاصطناعي (Peters et al., 2018)، تمثيلات للكلمات عن طريق تشغيل جملة من خلال نموذج لغة LSTM عميق ثنائي الاتجاه تم تدريبه على مجموعة مكونة من مليار كلمة. على عكس Word2Vec أو GloVe، اللذين يعينان متجهًا ثابتًا واحدًا لكل كلمة، يحسب ELMo متجهًا جديدًا لكل حدث بناءً على السياق المحيط. والأهم من ذلك، أن ELMo يجمع بين جميع طبقات LSTM الداخلية من خلال الأوزان المستفادة والمحددة للمهمة بدلاً من استخدام الطبقة العليا فقط. تميل الطبقات السفلية إلى التقاط بناء الجملة (جزء من الكلام والبنية) بينما تلتقط الطبقات العليا الدلالات ومعنى الكلمة. أدت إضافة ELMo إلى النماذج الحالية إلى تحقيق مكاسب كبيرة عبر ست مهام معيارية، بما في ذلك الإجابة على الأسئلة، وتحليل المشاعر، والتعرف على الكيانات المسماة.
البصيرة الفنية
يقوم ELMo بتجميع اثنين من نماذج LSTM: نموذج لغة أمامي يتنبأ بالكلمة التالية ونموذج خلفي يتنبأ بالكلمة السابقة، كل منهما عبر مدخلات CNN على مستوى الحرف (بحيث يتعامل مع الكلمات غير المرئية). بالنسبة للمهمة النهائية، يقوم ELMo بطي تمثيلات الطبقة باستخدام الأوزان المقيسة softmax بالإضافة إلى العددية، ويتم تعلم كل ذلك أثناء الضبط الدقيق. وهذا يعني أن كل مهمة يمكن أن تقرر مقدار الإشارة النحوية مقابل الإشارة الدلالية التي تريدها من biLM المجمدة المُدربة مسبقًا.
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل التضمين السياقي ELMo
أصبحت فكرة ELMo الأساسية، وهي التمثيلات السياقية من التدريب المسبق لنموذج اللغة، أساسية، ولكن بنية LSTM المتكررة الخاصة بها سرعان ما طغت عليها النماذج القائمة على المحولات مثل BERT في أواخر عام 2018، والتي تقرأ الجمل بأكملها بالتوازي وحجمها أفضل بكثير. تعد ELMo اليوم ذات أهمية تاريخية وتعليمية في الغالب، على الرغم من أن التعامل مع مدخلات الأحرف في CNN وأفكار ترجيح الطبقات لا تزال تؤثر على أعمال التضمين المتخصصة في اللغات منخفضة الموارد والغنية شكليًا.
التنفيذ في العالم الحقيقي
تحسين أنظمة التعرف على الكيانات المسماة التي يجب أن تحدد ما إذا كانت كلمة "واشنطن" تشير إلى شخص أو ولاية أو مدينة بناءً على الكلمات المحيطة
تعزيز تحليل المشاعر من خلال التقاط أن كلمة "مريض" تعني سلبية في عبارة "أشعر بالمرض" ولكنها إيجابية في اللغة العامية "هذا مريض".
تعزيز أنظمة الإجابة على الأسئلة وفقًا لمعيار SQuAD من خلال تغذية ناقلات الرموز المميزة الحساسة للسياق في القارئ
إزالة الغموض عن معاني الكلمات في الترجمة الآلية بحيث تترجم الكلمات متعددة المعاني مثل "نبات" بشكل صحيح في سياق معين
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ELMo Contextual Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
تضمينات الكلمات
الأسئلة المتداولة
ما هي التضمينات السياقية ELMo؟
كان ELMo (التضمين من نماذج اللغة) بمثابة إنجاز كبير في عام 2018 حيث أعطى كل كلمة تمثيلاً يتشكل من جملتها، لذا فإن كلمة "بنك" في "بنك النهر" تختلف عن كلمة "بنك" في "بنك التوفير". لقد كان بمثابة علامة على التحول من متجهات الكلمات الثابتة إلى البرمجة اللغوية العصبية المدركة للسياق.
ما هو الفرق الرئيسي بين ELMo والتضمينات السابقة مثل Word2Vec؟
ينتج ELMo تضمينات سياقية: يتغير المتجه للكلمة بناءً على الجملة المحيطة، على عكس المتجه الثابت الفردي لكل كلمة في Word2Vec.
ما هي البنية العصبية التي يستخدمها ELMo لقراءة النص؟
تم بناء ELMo على LSTM عميق ثنائي الاتجاه تم تدريبه كنموذج لغوي، حيث يقوم بمعالجة التسلسلات بشكل متكرر.
كيف تجمع ELMo بين طبقاتها الداخلية لمهمة لاحقة؟
يتعلم ELMo أوزان softmax الطبيعية الخاصة بالمهمة لدمج جميع طبقات BiLM، مما يسمح لكل مهمة بالتركيز على بناء الجملة أو الدلالات حسب الحاجة.
ما الذي يستخدمه ELMo كوحدات إدخال للتعامل مع الكلمات غير المرئية؟
يبني ELMo مدخلات الكلمات من شبكة CNN على مستوى الأحرف، بحيث يمكنه تمثيل الكلمات التي لم يراها مطلقًا أثناء التدريب.
تقريبًا متى تم تقديم ELMo ومن قام به؟
تم نشر ELMo في عام 2018 بواسطة Peters et al. معهد ألين للذكاء الاصطناعي (AI2).