गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर

विभिन्न भाषाओं में टोकनीकरण असमानताएँ प्रश्नोत्तरी

परीक्षण करें कि टोकनाइज़र कुछ भाषाओं को अधिक टोकन में क्यों विभाजित करते हैं, यह लागत और संदर्भ विंडो को कैसे प्रभावित करता है, और ऑडिट कैसे करें और अंतर को कैसे कम करें।

प्रश्न 1 का 8

भाषाओं के बीच बड़े टोकन-गिनती अंतराल का मुख्य कारण क्या है?

प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

  1. भाषाओं के बीच बड़े टोकन-गिनती अंतराल का मुख्य कारण क्या है?
    • कुछ भाषाएँ स्वाभाविक रूप से अंग्रेजी की तुलना में दस गुना अधिक शब्दाडंबरपूर्ण हैं
    • टोकननाइज़र अंग्रेजी और कुछ अन्य भाषाओं के वर्चस्व वाले प्रशिक्षण पाठ से बनाए गए थे
    • टोकननाइज़ेशन से पहले गैर-अंग्रेजी पाठ को संपीड़ित किया जाता है
    • मॉडल अनुवाद के लिए अतिरिक्त शुल्क लेते हैं
  2. देवनागरी या थाई जैसी लिपियाँ अक्सर बाइट-आधारित टोकननाइज़र के तहत अधिक टोकन क्यों उत्पन्न करती हैं?
    • उनके पात्र आमतौर पर UTF-8 में तीन-तीन बाइट लेते हैं और शायद ही कभी विलय किए जा सकते हैं
    • वे हमेशा बिना रिक्त स्थान के लिखे जाते हैं
    • उन्हें पहले छवियों में परिवर्तित किया जाता है
    • टोकनाइज़र उन्हें अस्वीकार कर देते हैं और उनकी जगह अंग्रेजी ले लेते हैं
  3. इनमें से कौन गाइड में बताए गए उच्च टोकन गणना के तीन प्रभावों में से एक नहीं है?
    • प्रति संदेश अधिक लागत
    • संदर्भ विंडो में कम टेक्स्ट फ़िटिंग
    • अधिक चरणों से धीमी पीढ़ी
    • उत्तर देने से स्वत: इनकार
  4. इस संदर्भ में प्रजनन क्षमता शब्द का क्या अर्थ है?
    • कोई मॉडल कितनी जल्दी नई भाषा सीख लेता है
    • प्रति शब्द उत्पादित टोकन की औसत संख्या
    • एक मॉडल द्वारा समर्थित भाषाओं की संख्या
    • प्रशिक्षण डेटासेट का आकार
  5. जब OpenAI ने 2024 में GPT-4o जारी किया तो उसने किस परिवर्तन का वर्णन किया?
    • इसने गैर-अंग्रेजी पाठ के लिए शुल्क लेना बंद कर दिया
    • इसने अपना टोकननाइज़र पूरी तरह से हटा दिया
    • इसने एक बड़ा टोकननाइज़र पेश किया जो कई गैर-अंग्रेजी भाषाओं के लिए कम टोकन का उपयोग करता था
    • इसने GPT-4o को केवल अंग्रेजी तक सीमित कर दिया
  6. बहुभाषी ऐप के लिए लागत की योजना बनाने का सबसे अच्छा पहला कदम क्या है?
    • मान लें कि हर भाषा की कीमत अंग्रेजी जितनी ही है
    • अपने मॉडल के सटीक टोकननाइज़र के साथ प्रतिनिधि अनुवादित दस्तावेज़ों को टोकनाइज़ करें और गणनाओं की तुलना करें
    • भाषा की परवाह किए बिना सबसे सस्ता मॉडल चुनें
    • बिना परीक्षण किए पहले सभी उपयोगकर्ता संदेशों का अंग्रेजी में अनुवाद करें
  7. टोकननाइजर की शब्दावली को बड़ा बनाने के साथ क्या समझौता होता है?
    • इससे अंग्रेजी पाठ को संसाधित करना असंभव हो जाता है
    • यह एम्बेडिंग और आउटपुट परतों के आकार को बढ़ाता है
    • यह प्रशिक्षण डेटा की आवश्यकता को हटा देता है
    • यह हमेशा मॉडल की गुणवत्ता को कम करता है
  8. गाइड के अनुसार, 'कुछ भाषाएँ केवल शब्दों से भरी होती हैं' एक ग़लतफ़हमी क्यों है?
    • सभी अनुवाद बिल्कुल समान लंबाई के हैं
    • शब्दाडंबर का किसी भी चीज़ पर कोई प्रभाव नहीं पड़ता
    • बड़े टोकन अंतराल मुख्य रूप से टोकन डिज़ाइन से आते हैं, भाषाओं से नहीं
    • टोकनाइज़र केवल रिक्त स्थान गिनते हैं