সেন্টেন্সপিস টোকেনাইজেশন কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. সেন্টেন্সপিস কোন মূল অনুমানটি এড়াতে পারে যে ঐতিহ্যগত টোকেনাইজারদের উপর নির্ভর করে?
   • যে শব্দগুলো শূন্যস্থান দ্বারা বিভক্ত
   • সেই পাঠ্যটি UTF-8 এ এনকোড করা হয়েছে
   • যে বাক্যগুলো বিরাম চিহ্ন দিয়ে শেষ হয়
   • যে শব্দভান্ডার আগাম স্থির করা হয়
2. কেন SentencePiece একটি দৃশ্যমান মেটা প্রতীক দিয়ে স্পেস প্রতিস্থাপন করে?
   • আরো আক্রমনাত্মকভাবে টেক্সট কম্প্রেস করতে
   • টোকেনাইজেশনকে সম্পূর্ণরূপে বিপরীত করতে (ক্ষতিহীন)
   • স্বয়ংক্রিয়ভাবে সমস্ত বিরাম চিহ্ন মুছে ফেলার জন্য
   • ভাষার মধ্যে অনুবাদ করতে
3. SentencePiece প্রাথমিকভাবে কোন দুটি অ্যালগরিদম সমর্থন করে?
   • TF-IDF এবং Word2Vec
   • এলএসটিএম এবং সিএনএন
   • BPE এবং Unigram ভাষার মডেল
   • K- মানে এবং PCA
4. ইউনিগ্রাম মডেল কীভাবে তার শব্দভাণ্ডার তৈরি করে?
   • খালি শুরু করে এবং ঘন ঘন অক্ষর জোড়া মার্জ করে
   • একটি ইংরেজি অভিধান কপি করে
   • 1,000 শব্দের একটি নির্দিষ্ট তালিকা ব্যবহার করে
   • বড় শুরু করে এবং EM এর মাধ্যমে সবচেয়ে কম দরকারী টুকরা ছাঁটাই করে
5. কোন মডেল বিখ্যাতভাবে একটি SentencePiece টোকেনাইজার ব্যবহার করে?
   • T5
   • GPT-2
   • এলমো
   • গ্লোভ
6. বাইট-স্তরের ফলব্যাক সেন্টেন্সপিসকে কী সুবিধা দেয়?
   • এটি মডেল ট্রেনকে দ্রুততর করে তোলে
   • এটি গ্যারান্টি দেয় যে কোনও অক্ষরকে উপস্থাপন করা যেতে পারে, শব্দভান্ডারের বাইরের ব্যর্থতা এড়িয়ে
   • এটি মনোযোগের প্রয়োজনীয়তা দূর করে
   • এটি স্বয়ংক্রিয়ভাবে শব্দভান্ডারের আকার দ্বিগুণ করে
7. What kind of input can SentencePiece use to train a subword model directly?
   • Only text already converted to English word tokens
   • Only a fixed dictionary of complete words
   • Raw sentences, without first splitting them into word sequences
   • Only character-frequency tables with no sentence data
8. Why is a language-independent tokenizer useful for multilingual text?
   • It translates every input into one language before tokenizing
   • It assigns the same meaning to every token in every language
   • It removes the need for a model vocabulary
   • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation