सेंटेंसपीस टोकनाइजेशन क्विज़

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. सेंटेंसपीस किस प्रमुख धारणा से बचता है जिस पर पारंपरिक टोकननाइज़र भरोसा करते हैं?
   • वह शब्द रिक्त स्थान से अलग होते हैं
   • वह पाठ UTF-8 में एन्कोड किया गया है
   • वह वाक्य विराम चिह्न के साथ समाप्त होता है
   • कि शब्दावली पहले से तय होती है
2. सेंटेंसपीस रिक्त स्थान को दृश्यमान मेटा प्रतीक से क्यों बदल देता है?
   • पाठ को अधिक आक्रामक तरीके से संपीड़ित करने के लिए
   • टोकनाइजेशन को पूरी तरह से प्रतिवर्ती (दोषरहित) बनाना
   • सभी विराम चिह्नों को स्वचालित रूप से हटाने के लिए
   • भाषाओं के बीच अनुवाद करना
3. सेंटेंसपीस मुख्य रूप से किन दो एल्गोरिदम का समर्थन करता है?
   • TF-IDF और Word2Vec
   • एलएसटीएम और सीएनएन
   • बीपीई और यूनिग्राम भाषा मॉडल
   • के-मीन्स और पीसीए
4. यूनीग्राम मॉडल अपनी शब्दावली कैसे बनाता है?
   • खाली प्रारंभ करके और बारंबार वर्ण युग्मों को मर्ज करके
   • अंग्रेजी शब्दकोश की नकल करके
   • 1,000 शब्दों की एक निश्चित सूची का उपयोग करके
   • बड़े पैमाने पर शुरुआत करके और ईएम के माध्यम से कम से कम उपयोगी टुकड़ों को काटकर
5. कौन सा मॉडल प्रसिद्ध रूप से सेंटेंसपीस टोकननाइज़र का उपयोग करता है?
   • टी5
   • जीपीटी-2
   • एल्मो
   • दस्ताने
6. बाइट-स्तरीय फ़ॉलबैक से सेंटेंसपीस को क्या लाभ मिलता है?
   • यह मॉडल ट्रेन को तेज़ बनाता है
   • यह गारंटी देता है कि किसी भी चरित्र का प्रतिनिधित्व किया जा सकता है, शब्दावली विफलताओं से बचा जा सकता है
   • यह ध्यान देने की आवश्यकता को दूर करता है
   • यह स्वचालित रूप से शब्दावली का आकार दोगुना कर देता है
7. What kind of input can SentencePiece use to train a subword model directly?
   • Only text already converted to English word tokens
   • Only a fixed dictionary of complete words
   • Raw sentences, without first splitting them into word sequences
   • Only character-frequency tables with no sentence data
8. Why is a language-independent tokenizer useful for multilingual text?
   • It translates every input into one language before tokenizing
   • It assigns the same meaning to every token in every language
   • It removes the need for a model vocabulary
   • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation