लंबे संदर्भ प्रश्नोत्तरी के लिए स्थितीय अंतर्वेशन

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. पोजिशनल इंटरपोलेशन के पीछे मूल विचार क्या है?
   • नए स्थिति सूचकांकों को उस सीमा में निचोड़ना जिस पर मॉडल पहले से ही प्रशिक्षित था
   • प्रत्येक लंबाई के लिए एकदम नए मॉडल का प्रशिक्षण
   • स्थितिगत जानकारी को पूरी तरह से हटाना
   • महत्व के आधार पर टोकन को क्रमबद्ध करना
2. लंबी स्थिति के लिए अनुभवहीन एक्सट्रपलेशन विफल क्यों हो जाता है?
   • यह बहुत कम मेमोरी का उपयोग करता है
   • यह ध्यान स्कोर को अत्यधिक बड़े, अस्थिर मूल्यों तक उड़ा सकता है
   • यह हमेशा एक ही टोकन लौटाता है
   • इसके लिए एक अलग टोकननाइज़र की आवश्यकता होती है
3. LLaMA को 32K तक विस्तारित करने के लिए मूल PI कार्य को मोटे तौर पर कितनी फाइन-ट्यूनिंग की आवश्यकता थी?
   • बिल्कुल कोई फाइन-ट्यूनिंग नहीं
   • लगभग 1 मिलियन कदम
   • लगभग 1,000 कदम
   • एक पूर्ण प्रीट्रेनिंग रन
4. यदि आप कारक एस द्वारा संदर्भ का विस्तार करते हैं, तो पीआई स्थिति एम को कैसे बदल देता है?
   • यह m से m गुना s तक मैप करता है
   • यह m से m वर्ग तक मैप करता है
   • यह एम को अपरिवर्तित छोड़ देता है
   • यह एम से एम को एस से विभाजित करके मैप करता है
5. PI ने YaRN जैसे बाद के तरीकों को कैसे प्रभावित किया?
   • यह आधार रेखा बन गई कि आवृत्ति-जागरूक तरीकों में सुधार हुआ
   • इसे छोड़ दिया गया और कभी उद्धृत नहीं किया गया
   • इसने ट्रांसफार्मर वास्तुकला का स्थान ले लिया
   • यह केवल छवि मॉडल पर लागू होता है
6. पोजिशनल इंटरपोलेशन मुख्य रूप से किस स्थिति एन्कोडिंग को लक्षित करता है?
   • एक-हॉट एन्कोडिंग
   • RoPE (रोटरी पोजीशन एंबेडिंग)
   • Word2Vec वैक्टर
   • शब्दों का थैला मायने रखता है
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000