गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर
टोकननाइज़र-मुक्त बाइट-स्तरीय मॉडल प्रश्नोत्तरी
रॉ-बाइट भाषा मॉडल, बीएलटी के एन्ट्रापी-आधारित पैच और निश्चित टोकन शब्दावलियों को हटाने की दक्षता और कवरेज ट्रेडऑफ़ को समझें।
प्रश्न 1 का 8
एक टोकननाइज़र-मुक्त बाइट-स्तरीय मॉडल अपनी इनपुट इकाइयों के रूप में क्या पढ़ता है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- एक टोकननाइज़र-मुक्त बाइट-स्तरीय मॉडल अपनी इनपुट इकाइयों के रूप में क्या पढ़ता है?
- कच्चे बाइट्स (UTF-8 मान 0-255)
- एक निश्चित शब्दावली से शब्द-टुकड़ा उपशब्द
- संपूर्ण शब्द रिक्त स्थान से अलग किए गए
- केवल पूर्व-गणना की गई एम्बेडिंग
- एक मानक ट्रांसफार्मर को कच्चे बाइट्स खिलाने का मुख्य व्यावहारिक दोष क्या है?
- बाइट्स गैर-अंग्रेज़ी पाठ का प्रतिनिधित्व नहीं कर सकते
- अनुक्रम बहुत लंबे हो जाते हैं, जिससे गणना लागत बढ़ जाती है
- एम्बेड करने के लिए बहुत सारे संभावित बाइट मान हैं
- बाइट्स सभी शब्दों का अर्थ स्थायी रूप से खो देते हैं
- बाइट लेटेंट ट्रांसफार्मर (बीएलटी) कैसे तय करता है कि बाइट्स को पैच में कहां समूहित किया जाए?
- हर अंतरिक्ष चरित्र पर विभाजित करके
- 4 बाइट्स के एक निश्चित पैच आकार का उपयोग करना
- बाइट-स्तरीय भविष्यवाणी एन्ट्रापी (अनिश्चितता) के आधार पर
- प्रत्येक फॉरवर्ड पास के दौरान बेतरतीब ढंग से
- Why can a fixed subword vocabulary use more tokens for some languages than others?
- Subword tokenizers only accept ASCII
- All languages have identical token boundaries
- They cannot represent numerals
- Its token inventory may reflect the language distribution in the data used to build it
- What does removing a fixed tokenizer guarantee about byte-level input?
- The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
- The model understands every language without training data
- It guarantees equal performance for all scripts
- The model no longer needs a vocabulary or learned embeddings
- पहले के किस मॉडल ने बाइट-स्तरीय प्रोसेसिंग प्रदर्शित की थी लेकिन धीमी होने के कारण इसकी आलोचना की गई थी?
- बर्ट
- ByT5
- Word2Vec
- जीपीटी-2
- What representations does BLT’s large global Transformer process?
- Individual words from a fixed subword vocabulary only
- छवि पिक्सेल
- Dynamically sized byte patches
- Robot joint-angle commands
- Which components surround the global Transformer in BLT?
- A reward model and a value network
- A speech vocoder and a spectrogram
- A camera and a lidar sensor
- A local byte encoder and a local byte decoder