भाषा एआई गाइड
YaRN संदर्भ विंडो स्केलिंग
YaRN extends RoPE-based context through frequency-aware scaling and an attention-temperature adjustment.
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
Its experiments demonstrate model extensions with limited additional training, with useful performance and resource costs still requiring evaluation.
गहरा गोता
Uniform Position Interpolation compresses all RoPE frequencies together. YaRN instead preserves high-frequency dimensions used for local positional detail, interpolates low-frequency dimensions for broader range, and blends treatment through a transition region. It also modifies attention temperature as part of the extension method. The paper evaluates long-context adaptations of particular models; its reported data and training-step comparisons should not be converted into a universal tiny-data guarantee. Increasing the supported length does not show that every task is solved reliably at every position. Evaluate the chosen model, adaptation, and intended workload rather than assuming that any rescaled checkpoint has the same capability.
वास्तविक विश्व कार्यान्वयन
एक खुले LLaMA मॉडल को 4K से 128K टोकन तक विस्तारित करना ताकि यह एक बार में संपूर्ण कोडबेस या लंबे अनुबंध को ग्रहण कर सके
किसी चैटबॉट को पहले के वार्तालापों को काटे बिना बहुत लंबे वार्तालाप इतिहास को बनाए रखने देना
आधार मॉडल की मूल विंडो से अधिक पुस्तक-लंबाई वाले दस्तावेज़ों या बहु-घंटे प्रतिलेखों का सारांश
केवल एक छोटे से फाइन-ट्यूनिंग रन का उपयोग करके लंबे-संदर्भ पुनर्प्राप्ति कार्यों के लिए पूर्व-प्रशिक्षित मॉडल को सस्ते में अपनाना
YaRN संदर्भ विंडो स्केलिंग का भविष्य
Research compares positional methods, training schedules, and long-context tasks. Measure retrieval and generation quality across positions and lengths together with latency and memory. Nominal support, a good average score, and dependable use on a particular task are different forms of evidence, so a new maximum window should be evaluated in context.
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- गति और पैमाना. भाषा वर्कफ़्लो निरंतरता से समझौता किए बिना तेज़ी से आगे बढ़ सकता है।
- पहुंच और पहुंच. यह सभी भाषाओं और संचार शैलियों तक पहुंच का विस्तार करता है।
- स्पष्ट निर्णय. टीमें निर्णय लेने में अधिक समय व्यतीत कर सकती हैं जबकि स्वचालन पुनरावृत्ति को संभालता है।
का ध्यान रखें
- मतिभ्रम वाले तथ्य चुपचाप रिपोर्ट में प्रवेश कर सकते हैं, प्रवाह का समर्थन कर सकते हैं, या अनुसंधान आउटपुट का समर्थन कर सकते हैं।
- त्वरित संवेदनशीलता समान अनुरोधों में असंगत परिणाम पैदा कर सकती है।
- यदि पहुंच नियंत्रण कमजोर हैं तो संवेदनशील पाठ डेटा उजागर हो सकता है।
अगले चरण
- रोलआउट से पहले आउटपुट स्वरूप, टोन और गुणवत्ता मानकों को परिभाषित करें।
- जब भी सटीकता मायने रखती है तो विश्वसनीय स्रोतों के साथ जमीनी प्रतिक्रियाएँ।
- उच्च जोखिम वाले आउटपुट के लिए एक मानव समीक्षा चेकपॉइंट रखें।
- विफलता पैटर्न को ट्रैक करें और संकेतों या वर्कफ़्लो को नियमित रूप से पुनः प्रशिक्षित करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the YaRN Context Window Scaling quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
YaRN कॉन्टेक्स्ट विंडो स्केलिंग क्या है?
YaRN extends RoPE-based context through frequency-aware scaling and an attention-temperature adjustment. Its experiments demonstrate model extensions with limited additional training, with useful performance and resource costs still requiring evaluation.
संदर्भ लंबाई बढ़ाने के लिए YaRN किस स्थिति-एन्कोडिंग योजना को संशोधित करता है?
YaRN का अर्थ 'Yet another RoPE extensioN' है और यह रोटरी पोजीशन एंबेडिंग में उपयोग की जाने वाली रोटेशन आवृत्तियों को पुन: स्केल करके काम करता है।
YaRN उच्च-आवृत्ति बनाम निम्न-आवृत्ति RoPE आयामों का इलाज कैसे करता है?
YaRN का 'एनटीके-बाय-पार्ट्स' दृष्टिकोण उच्च-आवृत्ति (स्थानीय) आयामों को संरक्षित करता है जबकि स्थानीय विवरण को नुकसान पहुंचाने से बचने के लिए कम-आवृत्ति (लंबी दूरी) वाले आयामों को प्रक्षेपित करता है।
How should YaRN's reported data and fine-tuning efficiency be interpreted?
The method's efficiency claims have an experimental scope and depend on model and adaptation choices.
आवृत्तियों को पुनः स्केल करने के अलावा, लंबी दूरी के ध्यान को स्थिर रखने के लिए YaRN क्या अतिरिक्त समायोजन लागू करता है?
YaRN एन्ट्रापी/लॉगिट शिफ्ट की भरपाई के लिए ध्यान तापमान को संशोधित करता है जो तब होता है जब अनुक्रम बहुत लंबा हो जाता है।
What motivates evaluating a RoPE model before using a context far beyond its original training length?
Extension quality is a model- and task-dependent question rather than an automatic consequence of accepting more tokens.
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं