ورڈ پیس ٹوکنائزیشن کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. WordPiece آؤٹ پٹ میں '##' سابقہ ​​کس چیز کی نشاندہی کرتا ہے؟
   • ٹوکن لفظ کے اندر ایک تسلسل کا ٹکڑا ہے، ابتدائی لفظ نہیں۔
   • ٹوکن ایک خاص الگ کرنے والا ہے جیسا کہ [SEP]
   • ٹوکن الفاظ میں سب سے زیادہ تعدد رکھتا ہے۔
   • ٹوکن ایک نامعلوم الفاظ سے باہر کا مارکر ہے۔
2. اصل BERT کی طرف سے ورڈ پیس الفاظ کا استعمال تقریباً کتنا بڑا ہے؟
   • تقریباً 256 ٹوکن
   • تقریباً 30,000 ٹوکن
   • تقریباً 1 ملین ٹوکن
   • تقریباً 500 ٹوکن
3. WordPiece کا انضمام کا معیار معیاری بائٹ پیئر انکوڈنگ سے کیسے مختلف ہے؟
   • یہ الفاظ کو کم کرنے کے لیے نایاب جوڑے کو ضم کرتا ہے۔
   • یہ کبھی ضم نہیں ہوتا اور صرف حروف کا استعمال کرتا ہے۔
   • یہ خام تعدد کے بجائے تربیتی ڈیٹا کے امکانات کو زیادہ سے زیادہ کرکے ضم ہوجاتا ہے۔
   • یہ تربیت کے دوران بے ترتیب طور پر جوڑوں کو ضم کرتا ہے۔
4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
   • It always falls back to individual Unicode characters
   • A random subword selected from the vocabulary
   • The original word encoded as one new token
   • The unknown-token marker, such as [UNK]
5. قیاس کے وقت، WordPiece کسی لفظ کو تقسیم کرنے کا طریقہ کیسے منتخب کرتا ہے؟
   • یہ الفاظ کے سب سے لمبے ذیلی لفظ سے لالچ سے، بائیں سے دائیں مماثل ہے۔
   • یہ سب سے پہلے ممکنہ ٹکڑوں کو چنتا ہے۔
   • یہ ہر ممکنہ تقسیم کی کوشش کرتا ہے اور ان کی اوسط کرتا ہے۔
   • یہ تقسیم کی پیشن گوئی کرنے کے لیے نیورل نیٹ ورک کا استعمال کرتا ہے۔
6. WordPiece کس معروف ماڈل فیملی سے سب سے زیادہ وابستہ ہے؟
   • جی پی ٹی ماڈل
   • BERT اور اس کے مشتقات
   • ایل ایل اے ایم اے ماڈلز
   • Stable Diffusion
7. What kind of vocabulary did multilingual BERT use across its training languages?
   • A completely separate vocabulary for every language
   • A vocabulary made only of complete words
   • One shared WordPiece vocabulary
   • A list of byte sequences with no subwords
8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
   • GPT2Tokenizer
   • RobertaTokenizer
   • CLIPTokenizer
   • BertTokenizer