টোকেনাইজেশন এবং বাইট পেয়ার এনকোডিং কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. একটি ভাষার মডেল পড়ার জন্য টোকেনাইজেশন কী তৈরি করে?
   • টোকেন, যা পাঠ্যের টুকরোতে ম্যাপ করা পূর্ণসংখ্যা আইডি
   • কাঁচা অডিও তরঙ্গরূপ
   • পিক্সেল গ্রিড
   • কম্পাইল করা মেশিন কোড
2. বাইট পেয়ার এনকোডিং কীভাবে এর শব্দভাণ্ডার তৈরি করে?
   • একটি অভিধানে পুরো শব্দ প্রতি একটি টোকেন বরাদ্দ করে
   • চিহ্নের সবচেয়ে ঘন ঘন সন্নিহিত জোড়া বারবার একত্রিত করে
   • এলোমেলোভাবে অক্ষর গ্রুপিং দ্বারা
   • প্রথমে অন্য ভাষায় টেক্সট অনুবাদ করে
3. শব্দ-স্তরের টোকেনাইজেশনের তুলনায় BPE-এর মতো সাবওয়ার্ড পদ্ধতি কোন সমস্যা সমাধান করে?
   • তারা প্রতিটি বাক্যকে ঠিক একটি টোকেন করে
   • তারা কোনো শব্দভান্ডারের প্রয়োজন দূর করে
   • তারা বিরল বা অদেখা শব্দগুলিকে পুনরায় ব্যবহারযোগ্য খণ্ডে বিভক্ত করে পরিচালনা করে
   • তারা শুধুমাত্র ইংরেজির জন্য কাজ করে
4. GPT মডেলগুলিতে ব্যবহৃত বাইট-স্তরের BPE-এর সুবিধা কী?
   • এটি সমস্ত ভাষার জন্য অন্য যেকোনো পদ্ধতির চেয়ে কম টোকেন ব্যবহার করে
   • এটি মডেলকে প্রশিক্ষণের প্রয়োজনীয়তা দূর করে
   • এটি শুধুমাত্র ইংরেজি অক্ষর এনকোড করে
   • এটি কোনো ইউনিকোড পাঠ্যকে উপস্থাপন করতে পারে, ইমোজি এবং যেকোনো ভাষা সহ, কোনো শব্দভান্ডারের ব্যর্থতা ছাড়াই
5. কেন একটি মডেলের টোকেন গণনা প্রায়শই একটি বাক্যে শব্দের সংখ্যা থেকে পৃথক হয়?
   • স্পেস, ক্যাপিটালাইজেশন, এবং বিরল শব্দগুলি কীভাবে পাঠ্য বিভক্ত হয় তা পরিবর্তন করে এবং একটি শব্দ একাধিক টোকেন হতে পারে
   • টোকেন একটি এলোমেলো ভাষায় গণনা করা হয়
   • প্রতিটি শব্দ সর্বদা ঠিক দুটি টোকেন
   • টোকেন সংখ্যা শুধুমাত্র বিরাম চিহ্নের উপর নির্ভর করে
6. বাইট পেয়ার এনকোডিং অ্যালগরিদম মূলত কোন ক্ষেত্র থেকে ধার করা হয়েছিল?
   • ইমেজ রেন্ডারিং
   • ডেটা কম্প্রেশন
   • ডাটাবেস ইনডেক্সিং
   • ক্রিপ্টোগ্রাফি
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet