टोकनाइजेशन और बाइट जोड़ी एन्कोडिंग प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. किसी भाषा मॉडल को पढ़ने के लिए टोकनाइजेशन क्या उत्पन्न करता है?
   • टोकन, जो पूर्णांक आईडी हैं जो पाठ के टुकड़ों में मैप किए जाते हैं
   • कच्चे ऑडियो तरंगरूप
   • पिक्सेल ग्रिड
   • संकलित मशीन कोड
2. बाइट पेयर एन्कोडिंग अपनी शब्दावली कैसे बनाती है?
   • किसी शब्दकोश में पूरे शब्द के लिए एक टोकन निर्दिष्ट करके
   • प्रतीकों की सबसे लगातार आसन्न जोड़ी को बार-बार विलय करके
   • वर्णों को बेतरतीब ढंग से समूहीकृत करके
   • पहले पाठ का दूसरी भाषा में अनुवाद करके
3. शब्द-स्तरीय टोकननाइजेशन की तुलना में बीपीई जैसी सबवर्ड विधियां किस समस्या का समाधान करती हैं?
   • वे हर वाक्य को बिल्कुल एक टोकन बनाते हैं
   • वे किसी भी शब्दावली की आवश्यकता को समाप्त कर देते हैं
   • वे दुर्लभ या अनदेखे शब्दों को पुन: प्रयोज्य टुकड़ों में विभाजित करके संभालते हैं
   • वे केवल अंग्रेजी के लिए काम करते हैं
4. जीपीटी मॉडल में उपयोग किए जाने वाले बाइट-स्तरीय बीपीई का क्या फायदा है?
   • यह सभी भाषाओं के लिए किसी भी अन्य विधि की तुलना में कम टोकन का उपयोग करता है
   • यह मॉडल को प्रशिक्षित करने की आवश्यकता को दूर करता है
   • यह केवल अंग्रेजी अक्षरों को एनकोड करता है
   • यह इमोजी और किसी भी भाषा सहित किसी भी यूनिकोड पाठ का प्रतिनिधित्व कर सकता है, जिसमें शब्दावली से बाहर कोई विफलता नहीं है
5. किसी मॉडल की टोकन संख्या अक्सर एक वाक्य में शब्दों की संख्या से भिन्न क्यों होती है?
   • रिक्त स्थान, पूंजीकरण और दुर्लभ शब्द पाठ के विभाजन के तरीके को बदल देते हैं, और एक शब्द कई टोकन बन सकता है
   • टोकन को यादृच्छिक भाषा में गिना जाता है
   • प्रत्येक शब्द सदैव दो चिह्नों का होता है
   • टोकन की गिनती केवल विराम चिह्न पर निर्भर करती है
6. बाइट पेयर एन्कोडिंग एल्गोरिदम मूल रूप से किस क्षेत्र से उधार लिया गया था?
   • छवि प्रतिपादन
   • डेटा संपीड़न
   • डेटाबेस अनुक्रमण
   • क्रिप्टोग्राफी
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet