اختبار ترميز SentencePiece

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هو الافتراض الرئيسي الذي تتجنبه SentencePiece والذي تعتمد عليه أدوات الرموز التقليدية؟
   • أن الكلمات مفصولة بمسافات
   • تم ترميز هذا النص بالترميز UTF-8
   • أن الجمل تنتهي بعلامات الترقيم
   • أن المفردات ثابتة مقدما
2. لماذا تستبدل SentencePiece المسافات برمز التعريف المرئي؟
   • لضغط النص بقوة أكبر
   • لجعل الترميز قابلاً للعكس تمامًا (بدون فقدان)
   • لإزالة كافة علامات الترقيم تلقائيا
   • للترجمة بين اللغات
3. ما الخوارزميتين اللتين تدعمهما SentencePiece بشكل أساسي؟
   • TF-IDF وWord2Vec
   • LSTM و سي إن إن
   • BPE ونموذج لغة Unigram
   • K- يعني و PCA
4. كيف يبني نموذج Unigram مفرداته؟
   • من خلال البدء الفارغ ودمج أزواج الأحرف المتكررة
   • عن طريق نسخ قاموس اللغة الإنجليزية
   • باستخدام قائمة ثابتة من 1000 كلمة
   • من خلال البدء بشكل كبير وتشذيب القطع الأقل فائدة عبر EM
5. ما النموذج الذي يستخدم رمز SentencePiece الشهير؟
   • T5
   • جي بي تي-2
   • إلمو
   • قفاز
6. ما هي الميزة التي يوفرها التراجع على مستوى البايت لـ SentencePiece؟
   • فهو يجعل القطار النموذجي أسرع
   • فهو يضمن إمكانية تمثيل أي شخصية، مع تجنب حالات الفشل خارج المفردات
   • يزيل الحاجة إلى الاهتمام
   • يضاعف حجم المفردات تلقائيا
7. What kind of input can SentencePiece use to train a subword model directly?
   • Only text already converted to English word tokens
   • Only a fixed dictionary of complete words
   • Raw sentences, without first splitting them into word sequences
   • Only character-frequency tables with no sentence data
8. Why is a language-independent tokenizer useful for multilingual text?
   • It translates every input into one language before tokenizing
   • It assigns the same meaning to every token in every language
   • It removes the need for a model vocabulary
   • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation