تضمين الكلمات الفرعية FastText
FastText هي إحدى طرق Facebook AI لعام 2016 التي تمثل كل كلمة كحقيبة من الأحرف n-gram، لذلك يمكنها بناء متجهات حتى للكلمات التي لم ترها مطلقًا أثناء التدريب.
نظرة عامة
This subword approach excels at morphologically rich languages, typos, and rare words where Word2Vec and GloVe fail.
الغوص العميق
يعمل FastText، الذي طورته Facebook AI Research (Bojanowski, Grave, Joulin, Mikolov) في عام 2016، على توسيع نموذج Skip-Gram عن طريق تقسيم كل كلمة إلى أحرف n-gram. الكلمة "حيث" التي يبلغ طولها n-grams تصبح <wh, whe,her, ere, re> بالإضافة إلى رمز الكلمة الكامل، حيث تشير الأقواس الزاوية إلى حدود الكلمات. متجه الكلمة هو مجموع نواقلها n-gram. ويعني هذا أن FastText يمكنه إنشاء متجه لكلمة خارج المفردات مثل "لا يصدق" من أجزاء كلمات فرعية مألوفة، كما أنه يلتقط الشكل المشترك، بحيث ترتبط كلمات "الجري" و"العداء" و"الجري" بشكل طبيعي. يشحن نفس المشروع أيضًا مصنفًا نصيًا خطيًا سريعًا ودقيقًا (وضع الإشراف "fastText") يستخدم لمهام مثل تحديد اللغة ووضع العلامات على نطاق واسع.
البصيرة الفنية
يتم تجزئة كل حرف n-gram إلى جدول دلو ذي حجم ثابت وتعيين متجه خاص به؛ تمثيل الكلمة هو مجموع متجهات n-gram المكونة لها، والتي تم تدريبها باستخدام نفس هدف Skip-Gram لأخذ العينات السلبية مثل Word2Vec. هذه المشاركة لمعلمات الكلمات الفرعية عبر الكلمات هي سبب عمليات النقل المورفولوجية ولماذا لا تزال الكلمات غير المرئية تحصل على نواقل معقولة. يستخدم المصنف الخاضع للإشراف نموذجًا مشابهًا لحقيبة الميزات مع softmax هرميًا، مما يجعله سريعًا للغاية على وحدات المعالجة المركزية (CPUs).
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل تضمينات الكلمات الفرعية FastText
أثبتت فكرة الكلمات الفرعية لـ FastText أنها أساسية: تستخدم المحولات الحديثة تقنيات ذات صلة مثل Byte-Pair Encoding وWordPiece tokenization للتعامل مع أي إدخال بدون مفردات ثابتة. أصدر فيسبوك ناقلات FastText المُدربة مسبقًا لـ 157 لغة، مما جعلها بمثابة خط الأساس للبرمجة اللغوية العصبية (NLP) متعددة اللغات ومنخفضة الموارد حيث تكون النماذج الكبيرة غير عملية. مع اكتساب النماذج الصغيرة الموجودة على الجهاز والحافة أهمية، فإن بصمة FastText الصغيرة وسرعة وحدة المعالجة المركزية تجعله مناسبًا لتصنيف نص الإنتاج.
التنفيذ في العالم الحقيقي
إنشاء متجهات للكلمات التي بها أخطاء إملائية أو التي لم تتم رؤيتها من قبل مثل "حقًا" أو أسماء المنتجات الجديدة
ناقلات Facebook مفتوحة المصدر والمدربة مسبقًا والتي تغطي 157 لغة للبحث ووضع العلامات متعدد اللغات
تحديد اللغة بسرعة عالية وتصنيف البريد العشوائي/الموضوع على وحدة المعالجة المركزية بدون وحدة معالجة الرسومات
التعامل مع اللغات الغنية شكليًا مثل الفنلندية أو التركية حيث تتخذ الكلمات أشكالًا تصريفية عديدة
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the FastText Subword Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
زخارف تمثيل ماتريوشكا
الأسئلة المتداولة
What is FastText Subword Embeddings?
FastText هي إحدى طرق Facebook AI لعام 2016 التي تمثل كل كلمة كحقيبة من الأحرف n-gram، لذلك يمكنها بناء متجهات حتى للكلمات التي لم ترها مطلقًا أثناء التدريب. يتفوق أسلوب الكلمات الفرعية هذا في اللغات الغنية شكليًا والأخطاء المطبعية والكلمات النادرة حيث يفشل Word2Vec وGloVe.
كيف يمثل FastText كلمة واحدة؟
يقوم FastText بتحليل كل كلمة إلى أحرف n-gram ويجمع متجهاتها لتكوين تمثيل الكلمة.
ما هي القيود الرئيسية على Word2Vec وGloVe التي يتغلب عليها FastText؟
نظرًا لأن FastText يقوم بتكوين متجهات من أجزاء الكلمات الفرعية، فيمكنه إنشاء تمثيل للكلمات التي لم يراها مطلقًا في التدريب.
بالنسبة للكلمة "أين" المكونة من 3 أحرف n-gram، ما هو n-gram صالح (مع علامات حدودية)؟
"حيث" ينتج عنه أشكال ثلاثية مثل <wh, whe,her, ere, re>، بالإضافة إلى رمز الكلمة الكاملة؛ "متى" هو واحد منهم.
ما هو الهدف التدريبي الأساسي الذي يعتمد عليه نموذج التضمين الخاص بـ FastText؟
يقوم FastText بتوسيع Skip-Gram بهدف أخذ العينات السلبي، مع إضافة متجهات n-gram للكلمات الفرعية.
لماذا يعتبر FastText مفيدًا بشكل خاص للغات مثل الفنلندية أو التركية؟
تنتج اللغات الغنية شكليًا العديد من أشكال الكلمات؛ تتيح مشاركة متجهات الكلمات الفرعية لـ FastText ربطها بشكل طبيعي.