ٹوکنائزیشن اور بائٹ پیئر انکوڈنگ کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. ٹوکنائزیشن زبان کے ماڈل کو پڑھنے کے لیے کیا پیدا کرتی ہے؟
   • ٹوکنز، جو کہ متن کے ٹکڑوں پر نقش شدہ عددی IDs ہیں۔
   • خام آڈیو ویوفارمز
   • پکسل گرڈز
   • مرتب شدہ مشین کوڈ
2. بائٹ پیئر انکوڈنگ اپنے الفاظ کو کیسے بناتی ہے؟
   • ایک لغت میں فی پورے لفظ کے لیے ایک ٹوکن تفویض کرکے
   • علامتوں کے اکثر ملحقہ جوڑے کو بار بار ملا کر
   • تصادفی طور پر حروف کی گروپ بندی کے ذریعے
   • پہلے متن کو دوسری زبان میں ترجمہ کرکے
3. ورڈ لیول ٹوکنائزیشن کے مقابلے BPE جیسے ذیلی الفاظ کے طریقے کس مسئلے کو حل کرتے ہیں؟
   • وہ ہر جملے کو بالکل ایک ٹوکن بناتے ہیں۔
   • وہ کسی بھی ذخیرہ الفاظ کی ضرورت کو ختم کر دیتے ہیں۔
   • وہ نایاب یا نادیدہ الفاظ کو دوبارہ استعمال کے قابل ٹکڑوں میں تقسیم کرکے سنبھالتے ہیں۔
   • وہ صرف انگریزی کے لیے کام کرتے ہیں۔
4. بائٹ لیول BPE کا کیا فائدہ ہے، جیسا کہ GPT ماڈلز میں استعمال ہوتا ہے؟
   • یہ تمام زبانوں کے لیے کسی دوسرے طریقے سے کم ٹوکن استعمال کرتا ہے۔
   • یہ ماڈل کو تربیت دینے کی ضرورت کو دور کرتا ہے۔
   • یہ صرف انگریزی حروف کو انکوڈ کرتا ہے۔
   • یہ کسی بھی یونیکوڈ متن کی نمائندگی کر سکتا ہے، بشمول ایموجی اور کسی بھی زبان، بغیر الفاظ کی ناکامی کے
5. ایک ماڈل کے ٹوکن کا شمار اکثر جملے میں الفاظ کی تعداد سے کیوں مختلف ہوتا ہے؟
   • خالی جگہیں، کیپٹلائزیشن، اور نایاب الفاظ متن کے تقسیم ہونے کے طریقے کو تبدیل کرتے ہیں، اور ایک لفظ کئی ٹوکن بن سکتا ہے۔
   • ٹوکنز کو بے ترتیب زبان میں شمار کیا جاتا ہے۔
   • ہر لفظ ہمیشہ بالکل دو ٹوکن ہوتا ہے۔
   • ٹوکن کی تعداد صرف اوقاف پر منحصر ہے۔
6. بائٹ پیئر انکوڈنگ الگورتھم اصل میں کس فیلڈ سے لیا گیا تھا؟
   • امیج رینڈرنگ
   • ڈیٹا کمپریشن
   • ڈیٹا بیس انڈیکسنگ
   • خفیہ نگاری
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet