اختبار الترميز وترميز زوج البايت

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما الذي ينتجه الترميز لنموذج اللغة ليقرأه؟
   • الرموز المميزة، وهي عبارة عن معرفات عددية تم تعيينها لأجزاء من النص
   • الأشكال الموجية الصوتية الخام
   • شبكات البكسل
   • كود الآلة المترجمة
2. كيف يقوم Byte Pair Encoding ببناء مفرداته؟
   • عن طريق تعيين رمز مميز واحد لكل كلمة كاملة في القاموس
   • من خلال الدمج المتكرر لزوج الرموز المتجاورة الأكثر شيوعًا
   • من خلال تجميع الشخصيات بشكل عشوائي
   • عن طريق ترجمة النص إلى لغة أخرى أولاً
3. ما هي المشكلة التي تحلها أساليب الكلمات الفرعية مثل BPE مقارنة بالترميز على مستوى الكلمة؟
   • إنهم يجعلون كل جملة رمزًا واحدًا بالضبط
   • أنها تلغي الحاجة إلى أي مفردات
   • إنهم يتعاملون مع الكلمات النادرة أو غير المرئية عن طريق تقسيمها إلى أجزاء قابلة لإعادة الاستخدام
   • إنهم يعملون باللغة الإنجليزية فقط
4. ما هي ميزة BPE على مستوى البايت، كما هو مستخدم في نماذج GPT؟
   • يستخدم عددًا أقل من الرموز المميزة مقارنة بأي طريقة أخرى لجميع اللغات
   • إنه يلغي الحاجة إلى تدريب النموذج
   • يقوم بتشفير الحروف الإنجليزية فقط
   • يمكن أن يمثل أي نص Unicode، بما في ذلك الرموز التعبيرية وأي لغة، دون أي فشل في المفردات
5. لماذا يختلف عدد الرموز المميزة للنموذج غالبًا عن عدد الكلمات في الجملة؟
   • تغير المسافات والأحرف الكبيرة والكلمات النادرة كيفية تقسيم النص، ويمكن أن تصبح كلمة واحدة عدة رموز مميزة
   • يتم حساب الرموز المميزة بلغة عشوائية
   • كل كلمة هي دائمًا رمزان بالضبط
   • تعتمد أعداد الرموز المميزة فقط على علامات الترقيم
6. من أي حقل تم في الأصل استعارة خوارزمية تشفير زوج البايت؟
   • تقديم الصورة
   • ضغط البيانات
   • فهرسة قاعدة البيانات
   • التشفير
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet