اختبار مرتبط بالدليل · متوسط المستوى
مسابقة ترميز WordPiece
راجع مفردات WordPiece وقواعد التقسيم الجشع، بما في ذلك دورها في BERT متعدد اللغات ومقارنتها مع BPE.
سؤال 1 من 8
ما الذي تشير إليه البادئة "##" في مخرجات WordPiece؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما الذي تشير إليه البادئة "##" في مخرجات WordPiece؟
- الرمز المميز هو قطعة استمرارية داخل الكلمة، وليس الكلمة الأولى
- الرمز المميز عبارة عن فاصل خاص مثل [SEP]
- الرمز لديه أعلى تردد في المفردات
- الرمز المميز هو علامة غير معروفة خارج المفردات
- ما هو حجم مفردات WordPiece التي يستخدمها BERT الأصلي تقريبًا؟
- حوالي 256 رمزا
- حوالي 30.000 رمز
- حوالي مليون رمز
- حوالي 500 رمز
- كيف يختلف معيار دمج WordPiece عن تشفير Byte-Pair القياسي؟
- فهو يدمج أندر زوج لتقليل المفردات
- لا يتم دمجه مطلقًا ويستخدم الأحرف فقط
- يتم دمجها عن طريق تعظيم احتمالية بيانات التدريب بدلاً من التردد الأولي
- يقوم بدمج الأزواج بشكل عشوائي أثناء التدريب
- ماذا يعيد مُجزّئ WordPiece بنمط BERT إذا تعذّر عليه تقسيم كلمة إلى قطع موجودة في المفردات؟
- يعود دائمًا إلى أحرف Unicode الفردية
- قطعة فرعية عشوائية مختارة من المفردات
- الكلمة الأصلية مُرمّزة كرمز جديد واحد
- علامة الرمز المجهول، مثل [UNK]
- في وقت الاستدلال، كيف يختار WordPiece كيفية تقسيم الكلمة؟
- إنه يطابق أطول كلمة فرعية في المفردات بشراهة، من اليسار إلى اليمين
- فهو يختار أقصر القطع الممكنة أولاً
- فهو يحاول كل تقسيم ممكن ومتوسطها
- ويستخدم شبكة عصبية للتنبؤ بالانقسامات
- ما هي عائلة النماذج المعروفة التي يرتبط بها WordPiece أكثر؟
- نماذج جي بي تي
- بيرت ومشتقاته
- نماذج لاما
- Stable Diffusion
- ما نوع المفردات التي استخدمها BERT متعدد اللغات عبر لغات التدريب؟
- مفردات منفصلة تمامًا لكل لغة
- مفردات مكوّنة فقط من كلمات كاملة
- مفردات WordPiece مشتركة واحدة
- قائمة من تسلسلات البايتات دون قطع فرعية
- أي فئة مُجزّئ في Hugging Face Transformers تُنشئ مُجزّئ BERT الذي يستخدم WordPiece؟
- GPT2Tokenizer
- RobertaTokenizer
- CLIPTokenizer
- BertTokenizer