سینٹنس پیس ٹوکنائزیشن کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. SentencePiece کس اہم مفروضے سے گریز کرتا ہے جس پر روایتی ٹوکنائزرز انحصار کرتے ہیں؟
   • کہ الفاظ خالی جگہوں سے الگ ہوتے ہیں۔
   • اس متن کو UTF-8 میں انکوڈ کیا گیا ہے۔
   • یہ جملے اوقاف پر ختم ہوتے ہیں۔
   • کہ الفاظ کا ذخیرہ پہلے سے طے ہوتا ہے۔
2. SentencePiece خالی جگہوں کو مرئی میٹا علامت سے کیوں بدلتا ہے؟
   • متن کو زیادہ جارحانہ انداز میں کمپریس کرنے کے لیے
   • ٹوکنائزیشن کو مکمل طور پر تبدیل کرنے کے لیے (نقصان کے بغیر)
   • تمام اوقاف کو خود بخود ہٹانے کے لیے
   • زبانوں کے درمیان ترجمہ کرنا
3. SentencePiece بنیادی طور پر کن دو الگورتھم کو سپورٹ کرتا ہے؟
   • TF-IDF اور Word2Vec
   • LSTM اور CNN
   • بی پی ای اور یونیگرام زبان کا ماڈل
   • K- کا مطلب اور PCA
4. یونیگرام ماڈل اپنی لغت کیسے بناتا ہے؟
   • خالی شروع کرکے اور متواتر کردار کے جوڑوں کو ضم کرکے
   • انگریزی ڈکشنری کو کاپی کرکے
   • 1,000 الفاظ کی ایک مقررہ فہرست استعمال کرکے
   • بڑے شروع کرکے اور کم سے کم مفید ٹکڑوں کو EM کے ذریعے کاٹ کر
5. کون سا ماڈل مشہور طور پر SentencePiece ٹوکنائزر استعمال کرتا ہے؟
   • T5
   • GPT-2
   • ELMO
   • دستانے
6. بائٹ لیول فال بیک SentencePiece کو کیا فائدہ دیتا ہے؟
   • یہ ماڈل ٹرین کو تیز تر بناتا ہے۔
   • یہ اس بات کی ضمانت دیتا ہے کہ کسی بھی کردار کی نمائندگی کی جا سکتی ہے، الفاظ سے باہر کی ناکامیوں سے گریز
   • یہ توجہ کی ضرورت کو دور کرتا ہے۔
   • یہ الفاظ کا سائز خود بخود دوگنا کر دیتا ہے۔
7. What kind of input can SentencePiece use to train a subword model directly?
   • Only text already converted to English word tokens
   • Only a fixed dictionary of complete words
   • Raw sentences, without first splitting them into word sequences
   • Only character-frequency tables with no sentence data
8. Why is a language-independent tokenizer useful for multilingual text?
   • It translates every input into one language before tokenizing
   • It assigns the same meaning to every token in every language
   • It removes the need for a model vocabulary
   • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation