গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

ওয়ার্ডপিস টোকেনাইজেশন কুইজ

WordPiece এর শব্দভান্ডার এবং লোভী বিভাজন নিয়ম পর্যালোচনা করুন, যার মধ্যে বহুভাষিক BERT এর ভূমিকা এবং BPE এর সাথে এর বৈসাদৃশ্য রয়েছে।

সম্পর্কিত গাইড পাথওয়ার্ডপিস টোকেনাইজেশন
প্রশ্ন 1 এর 8

WordPiece আউটপুটে '##' উপসর্গটি কী নির্দেশ করে?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. WordPiece আউটপুটে '##' উপসর্গটি কী নির্দেশ করে?
    • টোকেন একটি শব্দের ভিতরে একটি ধারাবাহিক অংশ, শব্দ-প্রাথমিক নয়
    • টোকেন হল একটি বিশেষ বিভাজক যেমন [SEP]
    • টোকেনের শব্দভাণ্ডারে সর্বোচ্চ ফ্রিকোয়েন্সি রয়েছে
    • টোকেন একটি অজানা শব্দভান্ডারের বাইরের চিহ্নিতকারী
  2. মূল BERT দ্বারা ব্যবহৃত WordPiece শব্দভাণ্ডারটি মোটামুটি কত বড়?
    • প্রায় 256 টোকেন
    • প্রায় 30,000 টোকেন
    • প্রায় 1 মিলিয়ন টোকেন
    • প্রায় 500 টোকেন
  3. WordPiece-এর মার্জ মানদণ্ড স্ট্যান্ডার্ড বাইট-পেয়ার এনকোডিং থেকে কীভাবে আলাদা?
    • এটি শব্দভান্ডার কমাতে বিরল জোড়াকে একত্রিত করে
    • এটি কখনই একত্রিত হয় না এবং শুধুমাত্র অক্ষর ব্যবহার করে
    • এটি কাঁচা ফ্রিকোয়েন্সির পরিবর্তে প্রশিক্ষণ-ডেটা সম্ভাবনা সর্বাধিক করে একত্রিত হয়
    • এটি প্রশিক্ষণের সময় এলোমেলোভাবে জোড়া একত্রিত করে
  4. একটি BERT-শৈলী WordPiece টোকেনাইজার যদি একটি শব্দকে শব্দভান্ডারে ভাগ করতে না পারে তবে তা কী ফেরত দেয়?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. অনুমান করার সময়, WordPiece কীভাবে একটি শব্দকে বিভক্ত করতে হয় তা বেছে নেয়?
    • এটি শব্দভান্ডারের দীর্ঘতম সাবওয়ার্ডের সাথে লোভনীয়ভাবে মেলে, বাম থেকে ডানে
    • এটি প্রথমে সংক্ষিপ্ততম সম্ভাব্য টুকরা বাছাই করে
    • এটি প্রতিটি সম্ভাব্য বিভাজন চেষ্টা করে এবং তাদের গড় করে
    • এটি বিভাজনের পূর্বাভাস দিতে একটি নিউরাল নেটওয়ার্ক ব্যবহার করে
  6. WordPiece কোন সুপরিচিত মডেল পরিবারের সাথে সবচেয়ে বেশি যুক্ত?
    • জিপিটি মডেল
    • BERT এবং এর ডেরিভেটিভস
    • LLaMA মডেল
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer