গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

টোকেনাইজার-মুক্ত বাইট-লেভেল মডেল কুইজ

কাঁচা-বাইট ভাষার মডেল, BLT-এর এনট্রপি-ভিত্তিক প্যাচ, এবং নির্দিষ্ট টোকেন শব্দভাণ্ডারগুলি সরানোর দক্ষতা এবং কভারেজ ট্রেডঅফগুলি বুঝুন।

প্রশ্ন 1 এর 8

একটি টোকেনাইজার-মুক্ত বাইট-স্তরের মডেল তার ইনপুট ইউনিট হিসাবে কী পড়ে?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. একটি টোকেনাইজার-মুক্ত বাইট-স্তরের মডেল তার ইনপুট ইউনিট হিসাবে কী পড়ে?
    • কাঁচা বাইট (UTF-8 মান 0-255)
    • একটি নির্দিষ্ট শব্দভান্ডার থেকে শব্দ-টুকরো সাবওয়ার্ড
    • শূন্যস্থান দ্বারা পৃথক করা সম্পূর্ণ শব্দ
    • শুধুমাত্র প্রাক-গণনা করা এমবেডিং
  2. একটি স্ট্যান্ডার্ড ট্রান্সফরমারে কাঁচা বাইট খাওয়ানোর প্রধান ব্যবহারিক ত্রুটি কী?
    • বাইট অ-ইংরেজি পাঠ্যকে উপস্থাপন করতে পারে না
    • ক্রমগুলি অনেক দীর্ঘ হয়ে যায়, গণনা খরচ বাড়ায়
    • এম্বেড করার জন্য অনেকগুলি সম্ভাব্য বাইট মান রয়েছে৷
    • বাইট স্থায়ীভাবে সব শব্দের অর্থ হারিয়ে ফেলে
  3. বাইট ল্যাটেন্ট ট্রান্সফরমার (বিএলটি) কীভাবে প্যাচগুলিতে বাইটগুলিকে গ্রুপ করতে হবে তা কীভাবে নির্ধারণ করে?
    • প্রতিটি স্থান অক্ষর উপর বিভক্ত দ্বারা
    • 4 বাইটের একটি নির্দিষ্ট প্যাচ আকার ব্যবহার করা
    • বাইট-স্তরের পূর্বাভাস এনট্রপির উপর ভিত্তি করে (অনিশ্চয়তা)
    • এলোমেলোভাবে প্রতিটি ফরোয়ার্ড পাসের সময়
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. কোন পূর্ববর্তী মডেলটি বাইট-স্তরের প্রক্রিয়াকরণ প্রদর্শন করেছিল কিন্তু ধীর হওয়ার জন্য সমালোচিত হয়েছিল?
    • BERT
    • ByT5
    • Word2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • ইমেজ পিক্সেল
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder