वर्डपीस टोकनाइजेशन क्विज़

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. वर्डपीस आउटपुट में '##' उपसर्ग क्या दर्शाता है?
   • टोकन एक शब्द के अंदर एक निरंतरता वाला टुकड़ा है, शब्द-प्रारंभिक नहीं
   • टोकन एक विशेष विभाजक है जैसे [एसईपी]
   • शब्दावली में टोकन की आवृत्ति सबसे अधिक होती है
   • टोकन एक अज्ञात शब्दावली से बाहर का मार्कर है
2. मूल BERT द्वारा प्रयुक्त वर्डपीस शब्दावली मोटे तौर पर कितनी बड़ी है?
   • लगभग 256 टोकन
   • लगभग 30,000 टोकन
   • लगभग 1 मिलियन टोकन
   • लगभग 500 टोकन
3. वर्डपीस का मर्ज मानदंड मानक बाइट-पेयर एन्कोडिंग से कैसे भिन्न है?
   • यह शब्दावली को कम करने के लिए दुर्लभतम जोड़ी का विलय करता है
   • यह कभी विलय नहीं करता और केवल वर्णों का उपयोग करता है
   • यह कच्ची आवृत्ति के बजाय प्रशिक्षण-डेटा संभावना को अधिकतम करके विलीन हो जाता है
   • यह प्रशिक्षण के दौरान यादृच्छिक रूप से जोड़ियों का विलय करता है
4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
   • It always falls back to individual Unicode characters
   • A random subword selected from the vocabulary
   • The original word encoded as one new token
   • The unknown-token marker, such as [UNK]
5. अनुमान के समय, वर्डपीस किसी शब्द को विभाजित करने का तरीका कैसे चुनता है?
   • यह शब्दावली में सबसे लंबे उपशब्द से बाएं से दाएं, लालच से मेल खाता है
   • यह पहले सबसे छोटे संभव टुकड़े चुनता है
   • यह हर संभव विभाजन का प्रयास करता है और उनका औसत निकालता है
   • यह विभाजन की भविष्यवाणी करने के लिए एक तंत्रिका नेटवर्क का उपयोग करता है
6. वर्डपीस किस प्रसिद्ध मॉडल परिवार से सबसे अधिक जुड़ा हुआ है?
   • जीपीटी मॉडल
   • BERT और उसके डेरिवेटिव
   • एलएलएएमए मॉडल
   • Stable Diffusion
7. What kind of vocabulary did multilingual BERT use across its training languages?
   • A completely separate vocabulary for every language
   • A vocabulary made only of complete words
   • One shared WordPiece vocabulary
   • A list of byte sequences with no subwords
8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
   • GPT2Tokenizer
   • RobertaTokenizer
   • CLIPTokenizer
   • BertTokenizer