आगेअगली गाइड
प्रसंग विस्तार के लिए स्थिति प्रक्षेप
भाषा ए.आई
तकनीकी गाइड
लंबे संदर्भ के लिए स्थितीय अंतर्वेशन
पोजिशनल इंटरपोलेशन (पीआई) एक सरल, प्रभावशाली तकनीक है जो मॉडल को पहले से ज्ञात सीमा में नए स्थिति सूचकांकों को निचोड़कर ट्रांसफार्मर की संदर्भ विंडो का विस्तार करती है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
Instead of extrapolating to unseen positions, it interpolates within trained ones, requiring only brief fine-tuning.
गहरा गोता
2023 में Meta शोधकर्ताओं (चेन एट अल.) द्वारा पेश किया गया, पोजिशनल इंटरपोलेशन इस तथ्य से निपटता है कि प्रशिक्षण से परे पदों पर एक्सट्रपलेशन करते समय RoPE वाले मॉडल भयावह रूप से विफल हो जाते हैं। अंतर्दृष्टि प्रति-सहज ज्ञान युक्त है: मॉडल को बड़े स्थिति मानों को संभालने के लिए कहने के बजाय जो उसने कभी नहीं देखा है, पीआई आने वाली स्थिति सूचकांकों को एक स्केल फैक्टर द्वारा विभाजित करता है, इसलिए 8K की लक्ष्य लंबाई, मूल 2K रेंज में वापस आ जाती है। चूँकि मॉडल को उस सीमा पर प्रशिक्षित किया गया था, इसलिए घुमाव वितरण में ही रहते हैं। केवल 1,000 फाइन-ट्यूनिंग चरणों के बाद, एक एलएलएएमए मॉडल ने इस तरह से 32K संदर्भ तक संभाला। पेपर से पता चला कि एक्सट्रपलेशन ध्यान स्कोर को भारी मूल्यों तक उड़ा सकता है, जबकि इंटरपोलेशन उन्हें सीमित और स्थिर रखता है, यही कारण है कि इंटरपोलेशन एक्सट्रपलेशन की तुलना में नाटकीय रूप से बेहतर काम करता है।
वास्तविक विश्व कार्यान्वयन
लगभग 1,000 फ़ाइन-ट्यूनिंग चरणों के साथ 8K-32K टोकन को संभालने के लिए 2K-संदर्भ LLaMA मॉडल का विस्तार
स्क्रैच से पुनः प्रशिक्षण के बिना लंबे दस्तावेज़ सारांश के लिए मौजूदा चैट मॉडल को अपनाना
वैचारिक आधार रेखा के रूप में कार्य करना जिस पर एनटीके-जागरूक स्केलिंग और याआरएन सुधार करते हैं
मूल रूप से छोटी विंडो के साथ प्रशिक्षित मॉडल पर लंबे-संदर्भ कोड या कानूनी-दस्तावेज़ विश्लेषण को सक्षम करना
लंबे संदर्भ के लिए स्थितीय अंतर्वेशन का भविष्य
पोजिशनल इंटरपोलेशन फॉलो-अप की एक लहर का आधार बन गया, जिसमें एनटीके-अवेयर स्केलिंग और वाईआरएन शामिल हैं, जो स्थानीय विवरण को संरक्षित करने के लिए अधिक चयनात्मक रूप से इंटरपोलेशन करते हैं। प्रक्षेपवक्र उन तरीकों की ओर है जिनके लिए बहुत कम या कोई फाइन-ट्यूनिंग की आवश्यकता नहीं है और लंबे-संदर्भ प्रबंधन को पूर्व-प्रशिक्षण में बदलने की ओर है। पीआई एक मूल्यवान आधार रेखा बनी हुई है और 128K से अधिक संदर्भ विंडो तक कुशलतापूर्वक पहुंचने के लिए इसे अक्सर नई आवृत्ति-जागरूक योजनाओं के साथ जोड़ा जाता है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Positional Interpolation for Long Context quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is Positional Interpolation for Long Context?
पोजिशनल इंटरपोलेशन (पीआई) एक सरल, प्रभावशाली तकनीक है जो मॉडल को पहले से ज्ञात सीमा में नए स्थिति सूचकांकों को निचोड़कर ट्रांसफार्मर की संदर्भ विंडो का विस्तार करती है। अनदेखी स्थितियों में एक्सट्रपलेशन करने के बजाय, यह प्रशिक्षित लोगों के भीतर इंटरपोलेशन करता है, जिसके लिए केवल संक्षिप्त फाइन-ट्यूनिंग की आवश्यकता होती है।
पोजिशनल इंटरपोलेशन के पीछे मूल विचार क्या है?
पीआई एक स्केल फैक्टर द्वारा स्थिति सूचकांकों को विभाजित करता है ताकि लंबे अनुक्रमों को प्रशिक्षित स्थिति सीमा में वापस मैप किया जा सके, जिससे रोटेशन को वितरण में रखा जा सके।
लंबी स्थिति के लिए अनुभवहीन एक्सट्रपलेशन विफल क्यों हो जाता है?
पीआई पेपर से पता चला है कि अनदेखी बड़ी स्थिति प्रशिक्षण की तुलना में बड़े पैमाने पर ध्यान आकर्षित कर सकती है, जिससे सॉफ्टमैक्स अस्थिर हो सकता है।
LLaMA को 32K तक विस्तारित करने के लिए मूल PI कार्य को मोटे तौर पर कितनी फाइन-ट्यूनिंग की आवश्यकता थी?
पेपर ने बताया कि लगभग 1,000 फ़ाइन-ट्यूनिंग चरण 32K टोकन तक संदर्भ का विस्तार करने के लिए पर्याप्त थे।
यदि आप कारक एस द्वारा संदर्भ का विस्तार करते हैं, तो पीआई स्थिति एम को कैसे बदल देता है?
पीआई नई बड़ी रेंज को मूल प्रशिक्षित रेंज में संपीड़ित करते हुए स्थिति को एम से एम/एस तक पुन: मापता है।
PI ने YaRN जैसे बाद के तरीकों को कैसे प्रभावित किया?
पीआई ने इंटरपोलेशन को सुरक्षित दृष्टिकोण के रूप में स्थापित किया; एनटीके-जागरूक स्केलिंग और वाईआरएन ने आवृत्तियों को अधिक चयनात्मक रूप से प्रक्षेपित करके इसे परिष्कृत किया।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं