तकनीकी गाइड

अधिकतम टोकन और स्टॉप अनुक्रम

मैक्स टोकन इस बात की सीमा है कि एक मॉडल एक प्रतिक्रिया में कितने टोकन उत्पन्न कर सकता है, और स्टॉप सीक्वेंस स्ट्रिंग हैं जो मॉडल के उत्पादन के तुरंत बाद समाप्त हो जाते हैं।

इस गाइड को सुनेंएआई-नैरेटेड · ~3 min

इस पृष्ठ पर4 मिनट पढ़ें
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. मैक्स टोकन और स्टॉप सीक्वेंस का भविष्य
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

एपीआई द्वारा लौटाए गए अंतिम कारण के साथ, वे तय करते हैं कि उत्तर कहां समाप्त होता है और आपको बताते हैं कि यह स्वाभाविक रूप से समाप्त हो गया था या काट दिया गया था। उन्हें सही करने से JSON में कटौती, आधे-अधूरे उत्तर और व्यर्थ खर्च को रोका जा सकता है।

गहरा गोता

एक भाषा मॉडल एक समय में एक टोकन उत्पन्न करता है जब तक कि कोई उसे रुकने के लिए नहीं कहता। इसके रुकने के तीन सामान्य कारण हैं। यह अपना स्वयं का एंड-ऑफ़-टर्न टोकन तैयार करता है, जिसका अर्थ है कि उसने निर्णय लिया कि उत्तर पूर्ण है। यह आपके द्वारा अनुमत आउटपुट टोकन की अधिकतम संख्या तक पहुँच जाता है। या यह ऐसा टेक्स्ट उत्पन्न करता है जो आपके स्टॉप अनुक्रमों में से किसी एक से मेल खाता है। मैक्स टोकन को अक्सर संदर्भ विंडो के साथ भ्रमित किया जाता है। संदर्भ विंडो टोकन की कुल संख्या है जिसे मॉडल इनपुट प्लस आउटपुट के साथ एक साथ संभाल सकता है। मैक्स टोकन केवल एक कॉल के आउटपुट को सीमित करता है। यदि अधिकतम टोकन कम सेट किया गया है, तो बहुत बड़ी संदर्भ विंडो वाला मॉडल अभी भी छोटी प्रतिक्रियाएँ उत्पन्न कर सकता है, और इनपुट प्लस अधिकतम टोकन को आम तौर पर संदर्भ विंडो के अंदर फिट होना पड़ता है। एपीआई रिपोर्ट करते हैं कि पीढ़ी क्यों समाप्त हुई। OpenAI का चैट कंप्लीशन एपीआई एक फिनिश_कारण देता है जैसे प्राकृतिक अंत या मिलान वाले स्टॉप अनुक्रम के लिए 'स्टॉप', आउटपुट सीमा हिट होने पर 'लंबाई', और जब मॉडल किसी टूल को कॉल करना चाहता है तो 'टूल_कॉल' करता है। Anthropic का संदेश API 'end_turn', 'max_tokens', 'stop_sequence' या 'tool_use' जैसे स्टॉप_कारण देता है। Anthropic को प्रत्येक अनुरोध पर max_tokens की आवश्यकता होती है। अपने तर्क मॉडल के लिए, OpenAI ने max_completion_tokens पेश किया, जो छिपे हुए तर्क टोकन के साथ-साथ दृश्यमान आउटपुट को भी गिनता है। स्टॉप अनुक्रम संरचित प्रारूपों के लिए उपयोगी होते हैं: समापन टैग के बाद समाप्त होना, स्पीकर लेबल से पहले रुकना, या एक सूची आइटम के बाद काटना। मिलान किए गए टेक्स्ट को आम तौर पर लौटाए गए आउटपुट में शामिल नहीं किया जाता है, इसलिए कोड को इसे देखने की उम्मीद नहीं करनी चाहिए। सबसे आम गलती समाप्ति कारण को अनदेखा करना है। एक संक्षिप्त प्रतिक्रिया प्रशंसनीय लग सकती है, विशेष रूप से गद्य में, जबकि संरचित आउटपुट बस टूट जाता है। एक और ग़लतफ़हमी यह है कि कम अधिकतम टोकन मॉडल को संक्षिप्त रूप से लिखने में मदद करता है। यदि ऐसा नहीं होता; मॉडल सामान्य रूप से लिखता है और कट जाता है। संकेत में संक्षिप्तता के लिए पूछें और सीमा को सुरक्षा टोपी के रूप में उपयोग करें।

वास्तविक विश्व कार्यान्वयन

एक सारांशकर्ता अधिकतम टोकन को 150 पर सेट करता है और कुछ सारांश वाक्य के बीच में ही समाप्त हो जाते हैं; समाप्ति कारण की जाँच करने से उन कॉलों के लिए 'लंबाई' दिखाई देती है, इसलिए ऐप सीमा बढ़ा देता है और इसके बजाय प्रॉम्प्ट में छोटे सारांश मांगता है।

एक स्क्रिप्ट जो JSON के रूप में डेटा निकालती है, पचास में से एक प्रतिक्रिया को पार्स करने में विफल रहती है; प्रत्येक विफलता ने आउटपुट सीमा को प्रभावित किया था, इसलिए कोड अब उच्च सीमा के साथ पुनः प्रयास करता है जब अंतिम कारण कहता है कि आउटपुट छोटा कर दिया गया था।

एक समय में संवाद की एक पंक्ति उत्पन्न करने वाला डेवलपर स्टॉप अनुक्रम 'उपयोगकर्ता:' का उपयोग करता है, इसलिए मॉडल जारी नहीं रहता है और उपयोगकर्ता की अगली पंक्ति भी लिखता है।

तर्क मॉडल की ओर बढ़ने वाली एक टीम को उत्तर खाली वापस आते हैं क्योंकि छिपे हुए तर्क आउटपुट सीमा का उपयोग करते हैं, इसलिए वे तर्क और उत्तर दोनों के लिए जगह छोड़ने की सीमा बढ़ाते हैं।

मैक्स टोकन और स्टॉप सीक्वेंस का भविष्य

आउटपुट सीमाएँ बढ़ी हैं क्योंकि मॉडल लंबी पीढ़ियों का समर्थन करते हैं, और संरचित आउटपुट सुविधाएँ जो स्कीमा के प्रति प्रतिक्रियाओं को कम करती हैं, लेकिन काट-छाँट के जोखिम को दूर नहीं करती हैं, क्योंकि पर्याप्त लंबी प्रतिक्रिया अभी भी सीमा तक पहुँच सकती है। रीज़निंग मॉडल ने आउटपुट बजटिंग को और अधिक महत्वपूर्ण बना दिया है क्योंकि छिपे हुए टोकन अब समान सीमा साझा करते हैं। पैरामीटर नाम और अंतिम कारण मान प्रदाताओं के बीच भिन्न होते हैं और समय के साथ बदल गए हैं, इसलिए वर्तमान दस्तावेज़ की जांच करना और इन विवरणों को अपने कोड की एक छोटी परत में लपेटना समझदारी है।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
  • स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
  • गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।

का ध्यान रखें

  • एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
  • बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
  • जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।

अगले चरण

  1. कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
  2. यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
  3. त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
  4. स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

Take the Max Tokens and Stop Sequences quiz

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

मैक्स टोकन और स्टॉप सीक्वेंस क्या है?

मैक्स टोकन इस बात की सीमा है कि एक मॉडल एक प्रतिक्रिया में कितने टोकन उत्पन्न कर सकता है, और स्टॉप सीक्वेंस स्ट्रिंग हैं जो मॉडल के उत्पादन के तुरंत बाद समाप्त हो जाते हैं। एपीआई द्वारा लौटाए गए अंतिम कारण के साथ, वे तय करते हैं कि उत्तर कहां समाप्त होता है और आपको बताते हैं कि यह स्वाभाविक रूप से समाप्त हो गया था या काट दिया गया था। उन्हें सही करने से JSON में कटौती, आधे-अधूरे उत्तर और व्यर्थ खर्च को रोका जा सकता है।

अधिकतम टोकन की सीमा क्या है?

एक कॉल के लिए अधिकतम टोकन आउटपुट कैप करता है। संदर्भ विंडो इनपुट और आउटपुट को कवर करने वाली अलग कुल सीमा है।

आपकी कॉल OpenAI के एपीआई में 'लंबाई' का अंतिम कारण लौटाती है। क्या हुआ?

'लंबाई' का मतलब है कि आउटपुट सीमा पूरी हो जाने के कारण उत्पादन रुक गया है, इसलिए प्रतिक्रिया अधूरी हो सकती है।

कौन सा Anthropic stop_reason इंगित करता है कि मॉडल ने निर्णय लिया कि उसका उत्तर पूर्ण था?

'एंड_टर्न' का मतलब है कि मॉडल स्वाभाविक रूप से समाप्त हो गया। 'max_tokens' का मतलब है कि इसे काट दिया गया है, और 'stop_sequence' का मतलब है कि आपकी कोई एक स्ट्रिंग मेल खा गई है।

कम अधिकतम टोकन मान सेट करने से उत्तर संक्षिप्त क्यों नहीं हो जाते?

सीमा एक कठिन रोक है, निर्देश नहीं। संकेत में संक्षिप्तता के लिए पूछें और सीमा को सुरक्षा टोपी के रूप में रखें।

क्या मिलान किए गए स्टॉप अनुक्रम को सामान्यतः लौटाए गए पाठ में शामिल किया गया है?

स्टॉप अनुक्रम पीढ़ी के अंत में होते हैं और आम तौर पर लौटाए गए आउटपुट में शामिल नहीं होते हैं, इसलिए आपके कोड को उन्हें देखने पर भरोसा नहीं करना चाहिए।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →