دليل اللغة AI
ترميز SentencePiece
SentencePiece عبارة عن أداة رمزية لا تعتمد على اللغة وتتعلم كيفية تقسيم النص الخام إلى أجزاء من الكلمات الفرعية مباشرةً من البيانات، دون الاعتماد على المسافات.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It made multilingual models far easier to build by treating any language the same way.
الغوص العميق
تفترض معظم أدوات الرموز المميزة أن الكلمات مفصولة بمسافات، وهو ما يفصل بين اللغات مثل اليابانية أو الصينية أو التايلاندية التي لا تستخدمها. تتجنب SentencePiece، التي أصدرتها Google في عام 2018، هذا من خلال التعامل مع الإدخال كتدفق أولي من الأحرف - بما في ذلك المسافات - وتعلم مفردات وحدات الكلمات الفرعية من البيانات نفسها. من المعروف أنه يستبدل المسافات بعلامة مرئية (رمز تعريف يشبه الشرطة السفلية) بحيث يكون الترميز قابلاً للعكس تمامًا: يمكنك دائمًا إعادة بناء النص الأصلي بالضبط. يدعم SentencePiece خوارزميتين رئيسيتين، تشفير زوج البايت (BPE) ونموذج لغة Unigram، والأخير هو طريقة التوقيع الخاصة به. نظرًا لأنه لا يحتاج إلى ترميز مسبق خاص باللغة، فإن نفس المسار يعمل عبر مئات اللغات، ولهذا السبب تعتمد عليه نماذج مثل T5 وALBERT والعديد من الأنظمة متعددة اللغات.
التنفيذ في العالم الحقيقي
نموذج T5 الخاص بـ Google، والذي يستخدم مفردات SentencePiece المدربة على نص الويب متعدد اللغات.
ترميز النص الياباني أو الصيني الذي لا يحتوي على مسافات بين الكلمات، حيث تفشل الرموز المميزة المستندة إلى الكلمات.
بناء مفردات مشتركة واحدة عبر أكثر من 100 لغة لنظام ترجمة متعدد اللغات.
إعادة بناء المدخلات الأصلية (بما في ذلك التباعد) من الرموز المميزة دون فقد البيانات، وهو أمر مفيد لإنشاء التعليمات البرمجية عندما تكون المسافات البيضاء مهمة.
مستقبل ترميز SentencePiece
تظل SentencePiece بمثابة العمود الفقري للنماذج متعددة اللغات والنماذج البرمجية بسبب قابليتها للعكس وحيادها اللغوي. يستكشف هذا المجال تدريجيًا أساليب مستوى البايت والخالية من الرموز المميزة التي تتخطى مفردات الكلمات الفرعية تمامًا، بهدف إزالة مراوغات الترميز التي تضر بالحسابات واللغات النادرة والأرقام الطويلة. ومع ذلك، تستمر تصميمات Unigram وbyte الاحتياطية من SentencePiece في التأثير على الرموز المميزة الأحدث، وستظل فلسفتها التي لا تفقد البيانات والتي تعتمد على التدريب من النص الخام أساسية في المستقبل القريب.
وضعها موضع التنفيذ
لماذا يهم
- السرعة والحجم. يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
- الوصول والوصول. فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
- قرارات أوضح. يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
احترس من
- يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
- يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
- قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
الخطوات التالية
- حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
- استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
- احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
- تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the SentencePiece Tokenization quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is SentencePiece Tokenization?
SentencePiece عبارة عن أداة رمزية لا تعتمد على اللغة وتتعلم كيفية تقسيم النص الخام إلى أجزاء من الكلمات الفرعية مباشرةً من البيانات، دون الاعتماد على المسافات. لقد جعل بناء النماذج متعددة اللغات أسهل بكثير من خلال التعامل مع أي لغة بنفس الطريقة.
ما هو الافتراض الرئيسي الذي تتجنبه SentencePiece والذي تعتمد عليه أدوات الرموز التقليدية؟
يتعامل SentencePiece مع الإدخال كتدفق أحرف خام، لذلك فهو يعمل حتى مع اللغات التي لا تحتوي على مسافات بين الكلمات.
لماذا تستبدل SentencePiece المسافات برمز التعريف المرئي؟
إن تشفير المسافات كعلامة مرئية يعني أنه يمكن دائمًا إعادة بناء النص الأصلي، بما في ذلك المسافات، تمامًا.
ما الخوارزميتين اللتين تدعمهما SentencePiece بشكل أساسي؟
تقدم SentencePiece تشفير Byte-Pair (BPE) ونموذج لغة Unigram، مع كون Unigram هي طريقة التوقيع الخاصة بها.
كيف يبني نموذج Unigram مفرداته؟
يبدأ Unigram بالعديد من القطع المرشحة ويزيل بشكل متكرر تلك التي تساهم بشكل أقل في احتمالية المجموعة باستخدام تعظيم التوقع.
ما النموذج الذي يستخدم رمز SentencePiece الشهير؟
يستخدم T5 الخاص بـ Google مفردات SentencePiece، كما يفعل ALBERT والعديد من النماذج متعددة اللغات.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع