तकनीकी गाइड

टोकन गणना और एलएलएम एपीआई मूल्य निर्धारण

एलएलएम एपीआई प्रति टोकन शुल्क लेते हैं, पाठ का एक हिस्सा जो अंग्रेजी शब्द का लगभग तीन-चौथाई है।

इस गाइड को सुनेंएआई-नैरेटेड · ~3 min

इस पृष्ठ पर4 मिनट पढ़ें
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. टोकन गिनती और एलएलएम एपीआई मूल्य निर्धारण का भविष्य
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

आपके द्वारा भेजे जाने वाले इनपुट टोकन और मॉडल द्वारा उत्पन्न आउटपुट टोकन की अलग-अलग दरें होती हैं, और आउटपुट की लागत आमतौर पर कई गुना अधिक होती है। लागत का अनुमान लगाने के लिए, प्रदाता के टोकननाइज़र या गिनती समापन बिंदु के साथ टोकन की गणना करें और प्रत्येक पक्ष को उसकी प्रति-मिलियन दर से गुणा करें। सिस्टम संकेत, वार्तालाप इतिहास और तर्क जैसे छिपे हुए टोकन शामिल करें।

गहरा गोता

मॉडल सीधे पात्रों या शब्दों को नहीं पढ़ते हैं। एक टोकनाइज़र टेक्स्ट को टोकन में विभाजित करता है, जो प्रशिक्षण डेटा से सीखे गए सामान्य वर्ण अनुक्रम होते हैं। अंग्रेजी के लिए सामान्य नियम यह है कि प्रति टोकन लगभग चार अक्षर, या एक शब्द का तीन-चौथाई हिस्सा होता है। यह 1,000 शब्दों को लगभग 1,300 से 1,400 टोकन पर रखता है। कोड, संख्याएँ, असामान्य नाम और कई गैर-अंग्रेजी भाषाएँ प्रति शब्द अधिक टोकन का उपयोग करती हैं। प्रत्येक मॉडल परिवार का अपना टोकननाइज़र होता है, इसलिए एक ही पाठ विभिन्न प्रदाताओं के साथ अलग-अलग गणनाएँ उत्पन्न कर सकता है। कीमतें आमतौर पर प्रति मिलियन टोकन पर अलग-अलग इनपुट और आउटपुट दरों के साथ उद्धृत की जाती हैं। आउटपुट टोकन की लागत अधिक होती है क्योंकि मॉडल उन्हें एक समय में एक उत्पन्न करता है, जबकि यह समानांतर में इनपुट टोकन को संसाधित कर सकता है। आउटपुट की कीमत आम तौर पर इनपुट दर से कई गुना अधिक होती है, अक्सर चार से आठ गुना के बीच, हालांकि अनुपात मॉडल के अनुसार भिन्न होता है। यहां बनी-बनाई कीमतों के साथ एक व्यावहारिक उदाहरण दिया गया है: इनपुट $3 प्रति मिलियन टोकन और आउटपुट $15 प्रति मिलियन। एक कार्य 6,000 इनपुट टोकन (सिस्टम प्रॉम्प्ट, निर्देश और एक दस्तावेज़) भेजता है और 800 आउटपुट टोकन वापस प्राप्त करता है। - इनपुट: 6,000 x $3 / 1,000,000 = $0.018 - आउटपुट: 800 x $15 / 1,000,000 = $0.012 - कुल: प्रति कार्य $0.03 प्रति दिन 10,000 कार्यों पर, यह प्रति दिन लगभग $300 आता है। वास्तविक बिल अक्सर पूर्वानुमानित कारणों से लोगों को आश्चर्यचकित करते हैं: - चैट एप्लिकेशन हर मोड़ पर पूरी बातचीत को दोबारा भेजते हैं, इसलिए प्रत्येक संदेश के साथ इनपुट बढ़ता है। - रीज़निंग मॉडल आंतरिक सोच टोकन उत्पन्न करते हैं जिन्हें आउटपुट के रूप में बिल किया जाता है, भले ही उन्हें पूर्ण रूप से नहीं दिखाया गया हो। - टूल परिभाषाएँ, पुनर्प्राप्त दस्तावेज़ और चित्र सभी इनपुट के रूप में गिने जाते हैं। - पुनः प्रयास और विफल कॉल के भी पैसे खर्च होते हैं। तीन ग़लतफ़हमियाँ आम हैं: कि टोकन समान शब्द हैं, कि मॉडल की संदर्भ विंडो भरना मुफ़्त है, और सबसे कम प्रति-टोकन मूल्य वाला मॉडल हमेशा प्रति कार्य सबसे सस्ता होता है। एक मजबूत मॉडल जो कम प्रयासों में पूरा हो जाता है, उसकी कुल लागत कम हो सकती है।

वास्तविक विश्व कार्यान्वयन

एक डेवलपर 3,000 शब्दों के समर्थन लेख को भेजने से पहले गिनने के लिए OpenAI की ओपन-सोर्स टिकटोकन लाइब्रेरी का उपयोग करता है। यह लगभग 4,000 टोकन तक पहुंचता है, और वह मिलान के लिए एक बजट अलर्ट सेट करती है।

एक चैटबॉट टीम को पता चला है कि उसका अधिकांश बिल 2,000-टोकन सिस्टम प्रॉम्प्ट और हर मोड़ पर पूर्ण चैट इतिहास को दोबारा भेजने से आता है। यह पुराने मोड़ों का सारांश करके और त्वरित कैशिंग का उपयोग करके लागत में कटौती करता है।

एक कंपनी रात भर में 50,000 उत्पाद विवरणों को संसाधित करके कार्य को प्रदाता के बैच एपीआई में स्थानांतरित कर देती है। बैच एपीआई कम शुल्क लेता है, और बदले में परिणाम सेकंड के बजाय घंटों के भीतर आ जाते हैं।

हिंदी और जापानी में सामग्री का अनुवाद करने वाली टीम का बजट अंग्रेजी की तुलना में प्रति पृष्ठ अधिक होता है। सामान्य टोकननाइज़र के साथ, वही अर्थ अक्सर उन भाषाओं में अधिक टोकन लेता है।

टोकन गिनती और एलएलएम एपीआई मूल्य निर्धारण का भविष्य

किसी दिए गए स्तर की क्षमता के लिए प्रति-टोकन कीमतें पिछले कुछ वर्षों में काफी गिर गई हैं। वैसे भी कुल खर्च अक्सर बढ़ जाता है, क्योंकि एप्लिकेशन लंबे संदर्भों का उपयोग करते हैं, एजेंट कई कॉल करते हैं और तर्क मॉडल अधिक आउटपुट उत्पन्न करते हैं। कैश्ड इनपुट, लंबे-संदर्भ अनुरोधों, बैच नौकरियों और तर्क के लिए अलग-अलग दरों के साथ मूल्य निर्धारण भी अधिक विविध होता जा रहा है। इससे हेडलाइन कीमतों की तुलना करने की तुलना में प्रति कार्य वास्तविक उपयोग को मापना अधिक महत्वपूर्ण हो जाता है। बजट, प्रति-सुविधा लागत ट्रैकिंग और स्वचालित मॉडल रूटिंग जैसे लागत उपकरण एलएलएम अनुप्रयोगों के मानक भाग बनने की संभावना है।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
  • स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
  • गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।

का ध्यान रखें

  • एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
  • बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
  • जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।

अगले चरण

  1. कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
  2. यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
  3. त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
  4. स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

Take the Token Counting and LLM API Pricing quiz

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

टोकन काउंटिंग और एलएलएम एपीआई मूल्य निर्धारण क्या है?

एलएलएम एपीआई प्रति टोकन शुल्क लेते हैं, पाठ का एक हिस्सा जो अंग्रेजी शब्द का लगभग तीन-चौथाई है। आपके द्वारा भेजे जाने वाले इनपुट टोकन और मॉडल द्वारा उत्पन्न आउटपुट टोकन की अलग-अलग दरें होती हैं, और आउटपुट की लागत आमतौर पर कई गुना अधिक होती है। लागत का अनुमान लगाने के लिए, प्रदाता के टोकननाइज़र या गिनती समापन बिंदु के साथ टोकन की गणना करें और प्रत्येक पक्ष को उसकी प्रति-मिलियन दर से गुणा करें। सिस्टम संकेत, वार्तालाप इतिहास और तर्क जैसे छिपे हुए टोकन शामिल करें।

अंग्रेजी पाठ और टोकन के लिए सामान्य नियम क्या है?

अंग्रेजी में औसतन प्रति टोकन लगभग चार अक्षर या 0.75 शब्द होते हैं, इसलिए 1,000 शब्द लगभग 1,300 से 1,400 टोकन के बराबर होते हैं।

आउटपुट टोकन की कीमत आमतौर पर इनपुट टोकन से अधिक क्यों होती है?

एक-एक करके टोकन उत्पन्न करने में इनपुट टोकन को समानांतर में संसाधित करने की तुलना में अधिक गणना समय लगता है।

$3 प्रति मिलियन इनपुट टोकन और $15 प्रति मिलियन आउटपुट टोकन की बनी-बनाई कीमतों के साथ, 6,000 इनपुट और 800 आउटपुट टोकन के साथ कॉल की लागत क्या है?

6,000 x 3 / 1,000,000 = $0.018 और 800 x 15 / 1,000,000 = $0.012, जो जुड़कर $0.03 होता है।

जैसे-जैसे बातचीत चलती है, चैटबॉट की लागत अक्सर क्यों बढ़ जाती है?

प्रत्येक नए संदेश में आम तौर पर पहले के सभी बदलाव शामिल होते हैं, इसलिए जब तक इतिहास को छोटा या सारांशित नहीं किया जाता तब तक इनपुट टोकन ढेर हो जाते हैं।

एक तर्क मॉडल के आंतरिक सोच टोकन को आम तौर पर कैसे बिल किया जाता है?

थिंकिंग टोकन मॉडल द्वारा उत्पन्न होते हैं, इसलिए उन्हें आउटपुट के रूप में बिल किया जाता है, भले ही आप उन सभी को न देखें।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →