গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
ওয়ার্ডপিস টোকেনাইজেশন কুইজ
WordPiece এর শব্দভান্ডার এবং লোভী বিভাজন নিয়ম পর্যালোচনা করুন, যার মধ্যে বহুভাষিক BERT এর ভূমিকা এবং BPE এর সাথে এর বৈসাদৃশ্য রয়েছে।
প্রশ্ন 1 এর 8
WordPiece আউটপুটে '##' উপসর্গটি কী নির্দেশ করে?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- WordPiece আউটপুটে '##' উপসর্গটি কী নির্দেশ করে?
- টোকেন একটি শব্দের ভিতরে একটি ধারাবাহিক অংশ, শব্দ-প্রাথমিক নয়
- টোকেন হল একটি বিশেষ বিভাজক যেমন [SEP]
- টোকেনের শব্দভাণ্ডারে সর্বোচ্চ ফ্রিকোয়েন্সি রয়েছে
- টোকেন একটি অজানা শব্দভান্ডারের বাইরের চিহ্নিতকারী
- মূল BERT দ্বারা ব্যবহৃত WordPiece শব্দভাণ্ডারটি মোটামুটি কত বড়?
- প্রায় 256 টোকেন
- প্রায় 30,000 টোকেন
- প্রায় 1 মিলিয়ন টোকেন
- প্রায় 500 টোকেন
- WordPiece-এর মার্জ মানদণ্ড স্ট্যান্ডার্ড বাইট-পেয়ার এনকোডিং থেকে কীভাবে আলাদা?
- এটি শব্দভান্ডার কমাতে বিরল জোড়াকে একত্রিত করে
- এটি কখনই একত্রিত হয় না এবং শুধুমাত্র অক্ষর ব্যবহার করে
- এটি কাঁচা ফ্রিকোয়েন্সির পরিবর্তে প্রশিক্ষণ-ডেটা সম্ভাবনা সর্বাধিক করে একত্রিত হয়
- এটি প্রশিক্ষণের সময় এলোমেলোভাবে জোড়া একত্রিত করে
- একটি BERT-শৈলী WordPiece টোকেনাইজার যদি একটি শব্দকে শব্দভান্ডারে ভাগ করতে না পারে তবে তা কী ফেরত দেয়?
- It always falls back to individual Unicode characters
- A random subword selected from the vocabulary
- The original word encoded as one new token
- The unknown-token marker, such as [UNK]
- অনুমান করার সময়, WordPiece কীভাবে একটি শব্দকে বিভক্ত করতে হয় তা বেছে নেয়?
- এটি শব্দভান্ডারের দীর্ঘতম সাবওয়ার্ডের সাথে লোভনীয়ভাবে মেলে, বাম থেকে ডানে
- এটি প্রথমে সংক্ষিপ্ততম সম্ভাব্য টুকরা বাছাই করে
- এটি প্রতিটি সম্ভাব্য বিভাজন চেষ্টা করে এবং তাদের গড় করে
- এটি বিভাজনের পূর্বাভাস দিতে একটি নিউরাল নেটওয়ার্ক ব্যবহার করে
- WordPiece কোন সুপরিচিত মডেল পরিবারের সাথে সবচেয়ে বেশি যুক্ত?
- জিপিটি মডেল
- BERT এবং এর ডেরিভেটিভস
- LLaMA মডেল
- Stable Diffusion
- What kind of vocabulary did multilingual BERT use across its training languages?
- A completely separate vocabulary for every language
- A vocabulary made only of complete words
- One shared WordPiece vocabulary
- A list of byte sequences with no subwords
- Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
- GPT2Tokenizer
- RobertaTokenizer
- CLIPTokenizer
- BertTokenizer