اختبار وصفة تدريب RoBERTa

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هي فكرة RoBERTa الرئيسية حول BERT الأصلي؟
   • كانت بنية بيرت معيبة بشكل أساسي
   • استخدم BERT عددًا كبيرًا جدًا من المعلمات
   • كان بيرت غير مدرب بشكل كبير
   • يحتاج BERT إلى إضافة وحدة فك ترميز
2. ما هو هدف BERT الذي أزالته RoBERTa؟
   • توقعات الجملة التالية
   • نمذجة اللغة المقنعة
   • تصنيف الرمز المميز
   • استبدال الكشف عن الرمز المميز
3. ما هو الإخفاء الديناميكي في RoBERTa؟
   • إخفاء فقط أندر الكلمات في المجموعة
   • إخفاء الجمل بأكملها في وقت واحد
   • لا تقم أبدًا بإخفاء نفس الرمز مرتين في المجموعة
   • إنشاء نمط قناع جديد في كل مرة يتم فيها رؤية تسلسل
4. كيف تمت مقارنة بيانات تدريب RoBERTa مع بيانات BERT؟
   • استخدم نفس النص الذي يبلغ حجمه 16 جيجابايت
   • استخدم ما يقرب من 160 جيجابايت، أي حوالي 10x أكثر
   • لقد استخدمت بيانات أقل ولكن تسميات أنظف
   • لقد استخدمت ويكيبيديا فقط
5. ما هي المنظمة التي أطلقت RoBERTa؟
   • الفيسبوك AI (Meta)
   • Google الذكاء الاصطناعي
   • OpenAI
   • Microsoft بحث
6. ما هو اسم الإصدار متعدد اللغات من RoBERTa؟
   • إمبيرت
   • روبرتا-XL
   • XLM-R (XLM-روبرتا)
   • بوليروبيرتا
7. Which text encoding did the RoBERTa recipe use according to the guide?
   • A fixed vocabulary of complete words only
   • Byte-level byte-pair encoding
   • One image patch per token
   • A phoneme-only vocabulary
8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
   • Architecture changes always explain every improvement
   • Training duration can be ignored if the benchmark is the same
   • Data volume cannot affect an encoder
   • Training choices can account for gains, so they must be considered when comparing models