পরবর্তী আপপরবর্তী গাইড
LLM API খরচ এবং টোকেন বাজেট অনুমান করা
টেকনিক্যাল
প্রযুক্তিগত গাইড
সর্বোচ্চ টোকেন হল একটি মডেল একটি প্রতিক্রিয়ায় কতগুলি টোকেন তৈরি করতে পারে তার ক্যাপ, এবং স্টপ সিকোয়েন্সগুলি হল স্ট্রিং যা মডেল তৈরি করার সাথে সাথে জেনারেশন শেষ হয়৷
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
API ফেরত দেওয়ার শেষ কারণের সাথে, তারা একটি উত্তর কোথায় শেষ হবে তা নির্ধারণ করে এবং আপনাকে বলে যে এটি স্বাভাবিকভাবে শেষ হয়েছে নাকি কেটে গেছে। সেগুলিকে সঠিকভাবে পাওয়া JSON, অর্ধ-সমাপ্ত উত্তর এবং নষ্ট খরচ প্রতিরোধ করে।
একটি ভাষা মডেল একটি সময়ে একটি টোকেন তৈরি করে যতক্ষণ না কিছু এটিকে থামাতে বলে। এটি বন্ধ হওয়ার তিনটি সাধারণ কারণ রয়েছে। এটি তার নিজস্ব শেষ-অব-টার্ন টোকেন তৈরি করে, যার অর্থ এটি সিদ্ধান্ত নিয়েছে যে উত্তরটি সম্পূর্ণ। এটি আপনার অনুমোদিত আউটপুট টোকেনের সর্বাধিক সংখ্যায় পৌঁছেছে। অথবা এটি এমন টেক্সট তৈরি করে যা আপনার স্টপ সিকোয়েন্সের একটির সাথে মেলে। সর্বাধিক টোকেনগুলি প্রায়শই প্রসঙ্গ উইন্ডোর সাথে বিভ্রান্ত হয়। কনটেক্সট উইন্ডো হল মোট টোকেনগুলির সংখ্যা যা মডেল একবারে পরিচালনা করতে পারে, ইনপুট প্লাস আউটপুট। সর্বোচ্চ টোকেন শুধুমাত্র একটি কলের আউটপুট সীমিত করে। সর্বাধিক টোকেন কম সেট করা থাকলে একটি খুব বড় প্রসঙ্গ উইন্ডো সহ একটি মডেল এখনও সংক্ষিপ্ত প্রতিক্রিয়া তৈরি করতে পারে এবং ইনপুট প্লাস সর্বাধিক টোকেনগুলি সাধারণত প্রসঙ্গ উইন্ডোর ভিতরে ফিট করতে হয়। এপিআই রিপোর্ট কেন প্রজন্ম শেষ হয়েছে। OpenAI-এর চ্যাট কমপ্লিশান এপিআই একটি ফিনিশ_কারণ প্রদান করে যেমন একটি প্রাকৃতিক শেষের জন্য 'স্টপ' বা একটি মিলে যাওয়া স্টপ সিকোয়েন্সের জন্য, 'দৈর্ঘ্য' যখন আউটপুট সীমা হিট হয়, এবং 'টুল_কল' যখন মডেল একটি টুল কল করতে চায়। Anthropic-এর মেসেজ এপিআই 'শেষ_টার্ন', 'ম্যাক্স_টোকেন', 'স্টপ_সিকোয়েন্স' বা 'টুল_ব্যবহার'-এর মতো একটি স্টপ_রিজন প্রদান করে। Anthropic প্রতিটি অনুরোধে max_tokens প্রয়োজন। এর যুক্তি মডেলগুলির জন্য, OpenAI max_completion_tokens প্রবর্তন করেছে, যা লুকানো যুক্তি টোকেন এবং দৃশ্যমান আউটপুট গণনা করে। স্টপ সিকোয়েন্সগুলি স্ট্রাকচার্ড ফরম্যাটের জন্য উপযোগী: একটি ক্লোজিং ট্যাগের পরে শেষ হওয়া, স্পিকার লেবেলের আগে থামানো, বা একটি তালিকা আইটেমের পরে কেটে ফেলা। মিলিত টেক্সট সাধারণত প্রত্যাবর্তিত আউটপুটে অন্তর্ভুক্ত করা হয় না, তাই কোডটি এটি দেখার আশা করা উচিত নয়। সবচেয়ে সাধারণ ভুল হল সমাপ্তির কারণ উপেক্ষা করা। একটি ছাঁটাই করা প্রতিক্রিয়া প্রশংসনীয় দেখাতে পারে, বিশেষ করে গদ্য, যখন কাঠামোগত আউটপুট কেবল ভেঙে যায়। আরেকটি ভুল ধারণা হল যে একটি কম সর্বোচ্চ টোকেন মডেলটিকে সংক্ষিপ্তভাবে লিখতে বাধ্য করে। এটা না; মডেলটি সাধারণত লিখতে পারে এবং কেটে যায়। প্রম্পটে সংক্ষিপ্ততার জন্য জিজ্ঞাসা করুন এবং সুরক্ষা ক্যাপ হিসাবে সীমাটি ব্যবহার করুন।
একটি সামারাইজার সর্বোচ্চ টোকেন 150 সেট করে এবং কিছু সারাংশ মধ্য-বাক্য শেষ করে; শেষ কারণ পরীক্ষা করা সেই কলগুলির জন্য 'দৈর্ঘ্য' দেখায়, তাই অ্যাপটি সীমা বাড়ায় এবং পরিবর্তে প্রম্পটে সংক্ষিপ্ত সারসংক্ষেপের জন্য বলে।
একটি স্ক্রিপ্ট যা JSON হিসাবে ডেটা বের করে, পঞ্চাশের মধ্যে একটি প্রতিক্রিয়া পার্স করতে ব্যর্থ হয়; প্রতিটি ব্যর্থতা আউটপুট সীমাকে আঘাত করেছিল, তাই কোডটি এখন একটি উচ্চ সীমার সাথে পুনরায় চেষ্টা করে যখন ফিনিশ কারণ বলে যে আউটপুটটি কাটা হয়েছে।
একজন বিকাশকারী একবারে এক লাইনের সংলাপ তৈরি করে স্টপ সিকোয়েন্স ব্যবহার করে 'ব্যবহারকারী:' তাই মডেলটি চালিয়ে যায় না এবং ব্যবহারকারীর পরবর্তী লাইনটিও লিখতে পারে।
একটি যুক্তি মডেলে চলে যাওয়া একটি দল উত্তরগুলি খালি ফিরে পায় কারণ লুকানো যুক্তি আউটপুট সীমা ব্যবহার করে, তাই তারা যুক্তি এবং উত্তর উভয়ের জন্য জায়গা ছেড়ে দেওয়ার সীমা বাড়িয়ে দেয়।
আউটপুট সীমা বেড়েছে কারণ মডেলগুলি দীর্ঘ প্রজন্মকে সমর্থন করে, এবং কাঠামোগত আউটপুট বৈশিষ্ট্যগুলি যা একটি স্কিমার প্রতিক্রিয়াগুলিকে কমিয়ে দেয়, কিন্তু অপসারণ করে না, ছেঁটে ফেলার ঝুঁকি, কারণ যথেষ্ট দীর্ঘ প্রতিক্রিয়া এখনও ক্যাপকে আঘাত করতে পারে। রিজনিং মডেলগুলি আউটপুট বাজেটকে আরও গুরুত্বপূর্ণ করে তুলেছে কারণ লুকানো টোকেনগুলি এখন একই সীমা ভাগ করে। প্যারামিটারের নাম এবং শেষ কারণের মানগুলি প্রদানকারীদের মধ্যে আলাদা এবং সময়ের সাথে পরিবর্তিত হয়েছে, তাই বর্তমান ডকুমেন্টেশন পরীক্ষা করা এবং এই বিবরণগুলিকে আপনার নিজের কোডের একটি ছোট স্তরে মোড়ানো বুদ্ধিমান।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
সর্বোচ্চ টোকেন হল একটি মডেল একটি প্রতিক্রিয়ায় কতগুলি টোকেন তৈরি করতে পারে তার ক্যাপ, এবং স্টপ সিকোয়েন্সগুলি হল স্ট্রিং যা মডেল তৈরি করার সাথে সাথে জেনারেশন শেষ হয়৷ API ফেরত দেওয়ার শেষ কারণের সাথে, তারা একটি উত্তর কোথায় শেষ হবে তা নির্ধারণ করে এবং আপনাকে বলে যে এটি স্বাভাবিকভাবে শেষ হয়েছে নাকি কেটে গেছে। সেগুলিকে সঠিকভাবে পাওয়া JSON, অর্ধ-সমাপ্ত উত্তর এবং নষ্ট খরচ প্রতিরোধ করে।
একটি কলের জন্য সর্বোচ্চ টোকেন ক্যাপ আউটপুট। প্রসঙ্গ উইন্ডোটি ইনপুট এবং আউটপুট কভার করার পৃথক মোট সীমা।
'দৈর্ঘ্য' মানে জেনারেশন বন্ধ হয়ে গেছে কারণ আউটপুট সীমা পৌঁছে গেছে, তাই প্রতিক্রিয়া অসম্পূর্ণ হতে পারে।
'end_turn' মানে মডেল স্বাভাবিকভাবেই শেষ হয়েছে। 'max_tokens' মানে এটি কেটে ফেলা হয়েছে, এবং 'stop_sequence' মানে আপনার একটি স্ট্রিং মিলে গেছে।
সীমা একটি কঠিন স্টপ, একটি নির্দেশ নয়. প্রম্পটে সংক্ষিপ্ততার জন্য জিজ্ঞাসা করুন এবং সুরক্ষা ক্যাপ হিসাবে সীমাটি রাখুন।
স্টপ সিকোয়েন্স শেষ জেনারেশন এবং সাধারণত প্রত্যাবর্তিত আউটপুটে অন্তর্ভুক্ত করা হয় না, তাই আপনার কোড সেগুলি দেখার উপর নির্ভর করা উচিত নয়।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
LLM API খরচ এবং টোকেন বাজেট অনুমান করা
টেকনিক্যাল