প্রযুক্তিগত গাইড

সর্বোচ্চ টোকেন এবং স্টপ সিকোয়েন্স

সর্বোচ্চ টোকেন হল একটি মডেল একটি প্রতিক্রিয়ায় কতগুলি টোকেন তৈরি করতে পারে তার ক্যাপ, এবং স্টপ সিকোয়েন্সগুলি হল স্ট্রিং যা মডেল তৈরি করার সাথে সাথে জেনারেশন শেষ হয়৷

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min

এই পৃষ্ঠায়4 মিনিট পড়া
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. সর্বোচ্চ টোকেন এবং স্টপ সিকোয়েন্সের ভবিষ্যত
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

API ফেরত দেওয়ার শেষ কারণের সাথে, তারা একটি উত্তর কোথায় শেষ হবে তা নির্ধারণ করে এবং আপনাকে বলে যে এটি স্বাভাবিকভাবে শেষ হয়েছে নাকি কেটে গেছে। সেগুলিকে সঠিকভাবে পাওয়া JSON, অর্ধ-সমাপ্ত উত্তর এবং নষ্ট খরচ প্রতিরোধ করে।

গভীর ডুব

একটি ভাষা মডেল একটি সময়ে একটি টোকেন তৈরি করে যতক্ষণ না কিছু এটিকে থামাতে বলে। এটি বন্ধ হওয়ার তিনটি সাধারণ কারণ রয়েছে। এটি তার নিজস্ব শেষ-অব-টার্ন টোকেন তৈরি করে, যার অর্থ এটি সিদ্ধান্ত নিয়েছে যে উত্তরটি সম্পূর্ণ। এটি আপনার অনুমোদিত আউটপুট টোকেনের সর্বাধিক সংখ্যায় পৌঁছেছে। অথবা এটি এমন টেক্সট তৈরি করে যা আপনার স্টপ সিকোয়েন্সের একটির সাথে মেলে। সর্বাধিক টোকেনগুলি প্রায়শই প্রসঙ্গ উইন্ডোর সাথে বিভ্রান্ত হয়। কনটেক্সট উইন্ডো হল মোট টোকেনগুলির সংখ্যা যা মডেল একবারে পরিচালনা করতে পারে, ইনপুট প্লাস আউটপুট। সর্বোচ্চ টোকেন শুধুমাত্র একটি কলের আউটপুট সীমিত করে। সর্বাধিক টোকেন কম সেট করা থাকলে একটি খুব বড় প্রসঙ্গ উইন্ডো সহ একটি মডেল এখনও সংক্ষিপ্ত প্রতিক্রিয়া তৈরি করতে পারে এবং ইনপুট প্লাস সর্বাধিক টোকেনগুলি সাধারণত প্রসঙ্গ উইন্ডোর ভিতরে ফিট করতে হয়। এপিআই রিপোর্ট কেন প্রজন্ম শেষ হয়েছে। OpenAI-এর চ্যাট কমপ্লিশান এপিআই একটি ফিনিশ_কারণ প্রদান করে যেমন একটি প্রাকৃতিক শেষের জন্য 'স্টপ' বা একটি মিলে যাওয়া স্টপ সিকোয়েন্সের জন্য, 'দৈর্ঘ্য' যখন আউটপুট সীমা হিট হয়, এবং 'টুল_কল' যখন মডেল একটি টুল কল করতে চায়। Anthropic-এর মেসেজ এপিআই 'শেষ_টার্ন', 'ম্যাক্স_টোকেন', 'স্টপ_সিকোয়েন্স' বা 'টুল_ব্যবহার'-এর মতো একটি স্টপ_রিজন প্রদান করে। Anthropic প্রতিটি অনুরোধে max_tokens প্রয়োজন। এর যুক্তি মডেলগুলির জন্য, OpenAI max_completion_tokens প্রবর্তন করেছে, যা লুকানো যুক্তি টোকেন এবং দৃশ্যমান আউটপুট গণনা করে। স্টপ সিকোয়েন্সগুলি স্ট্রাকচার্ড ফরম্যাটের জন্য উপযোগী: একটি ক্লোজিং ট্যাগের পরে শেষ হওয়া, স্পিকার লেবেলের আগে থামানো, বা একটি তালিকা আইটেমের পরে কেটে ফেলা। মিলিত টেক্সট সাধারণত প্রত্যাবর্তিত আউটপুটে অন্তর্ভুক্ত করা হয় না, তাই কোডটি এটি দেখার আশা করা উচিত নয়। সবচেয়ে সাধারণ ভুল হল সমাপ্তির কারণ উপেক্ষা করা। একটি ছাঁটাই করা প্রতিক্রিয়া প্রশংসনীয় দেখাতে পারে, বিশেষ করে গদ্য, যখন কাঠামোগত আউটপুট কেবল ভেঙে যায়। আরেকটি ভুল ধারণা হল যে একটি কম সর্বোচ্চ টোকেন মডেলটিকে সংক্ষিপ্তভাবে লিখতে বাধ্য করে। এটা না; মডেলটি সাধারণত লিখতে পারে এবং কেটে যায়। প্রম্পটে সংক্ষিপ্ততার জন্য জিজ্ঞাসা করুন এবং সুরক্ষা ক্যাপ হিসাবে সীমাটি ব্যবহার করুন।

বাস্তব-বিশ্ব বাস্তবায়ন

একটি সামারাইজার সর্বোচ্চ টোকেন 150 সেট করে এবং কিছু সারাংশ মধ্য-বাক্য শেষ করে; শেষ কারণ পরীক্ষা করা সেই কলগুলির জন্য 'দৈর্ঘ্য' দেখায়, তাই অ্যাপটি সীমা বাড়ায় এবং পরিবর্তে প্রম্পটে সংক্ষিপ্ত সারসংক্ষেপের জন্য বলে।

একটি স্ক্রিপ্ট যা JSON হিসাবে ডেটা বের করে, পঞ্চাশের মধ্যে একটি প্রতিক্রিয়া পার্স করতে ব্যর্থ হয়; প্রতিটি ব্যর্থতা আউটপুট সীমাকে আঘাত করেছিল, তাই কোডটি এখন একটি উচ্চ সীমার সাথে পুনরায় চেষ্টা করে যখন ফিনিশ কারণ বলে যে আউটপুটটি কাটা হয়েছে।

একজন বিকাশকারী একবারে এক লাইনের সংলাপ তৈরি করে স্টপ সিকোয়েন্স ব্যবহার করে 'ব্যবহারকারী:' তাই মডেলটি চালিয়ে যায় না এবং ব্যবহারকারীর পরবর্তী লাইনটিও লিখতে পারে।

একটি যুক্তি মডেলে চলে যাওয়া একটি দল উত্তরগুলি খালি ফিরে পায় কারণ লুকানো যুক্তি আউটপুট সীমা ব্যবহার করে, তাই তারা যুক্তি এবং উত্তর উভয়ের জন্য জায়গা ছেড়ে দেওয়ার সীমা বাড়িয়ে দেয়।

সর্বোচ্চ টোকেন এবং স্টপ সিকোয়েন্সের ভবিষ্যত

আউটপুট সীমা বেড়েছে কারণ মডেলগুলি দীর্ঘ প্রজন্মকে সমর্থন করে, এবং কাঠামোগত আউটপুট বৈশিষ্ট্যগুলি যা একটি স্কিমার প্রতিক্রিয়াগুলিকে কমিয়ে দেয়, কিন্তু অপসারণ করে না, ছেঁটে ফেলার ঝুঁকি, কারণ যথেষ্ট দীর্ঘ প্রতিক্রিয়া এখনও ক্যাপকে আঘাত করতে পারে। রিজনিং মডেলগুলি আউটপুট বাজেটকে আরও গুরুত্বপূর্ণ করে তুলেছে কারণ লুকানো টোকেনগুলি এখন একই সীমা ভাগ করে। প্যারামিটারের নাম এবং শেষ কারণের মানগুলি প্রদানকারীদের মধ্যে আলাদা এবং সময়ের সাথে পরিবর্তিত হয়েছে, তাই বর্তমান ডকুমেন্টেশন পরীক্ষা করা এবং এই বিবরণগুলিকে আপনার নিজের কোডের একটি ছোট স্তরে মোড়ানো বুদ্ধিমান।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the Max Tokens and Stop Sequences quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ম্যাক্স টোকেন এবং স্টপ সিকোয়েন্স কি?

সর্বোচ্চ টোকেন হল একটি মডেল একটি প্রতিক্রিয়ায় কতগুলি টোকেন তৈরি করতে পারে তার ক্যাপ, এবং স্টপ সিকোয়েন্সগুলি হল স্ট্রিং যা মডেল তৈরি করার সাথে সাথে জেনারেশন শেষ হয়৷ API ফেরত দেওয়ার শেষ কারণের সাথে, তারা একটি উত্তর কোথায় শেষ হবে তা নির্ধারণ করে এবং আপনাকে বলে যে এটি স্বাভাবিকভাবে শেষ হয়েছে নাকি কেটে গেছে। সেগুলিকে সঠিকভাবে পাওয়া JSON, অর্ধ-সমাপ্ত উত্তর এবং নষ্ট খরচ প্রতিরোধ করে।

সর্বোচ্চ টোকেন সীমা কি?

একটি কলের জন্য সর্বোচ্চ টোকেন ক্যাপ আউটপুট। প্রসঙ্গ উইন্ডোটি ইনপুট এবং আউটপুট কভার করার পৃথক মোট সীমা।

আপনার কল OpenAI-এর API-এ 'দৈর্ঘ্য'-এর একটি শেষ কারণ প্রদান করে। কি হয়েছে?

'দৈর্ঘ্য' মানে জেনারেশন বন্ধ হয়ে গেছে কারণ আউটপুট সীমা পৌঁছে গেছে, তাই প্রতিক্রিয়া অসম্পূর্ণ হতে পারে।

কোন Anthropic stop_reason নির্দেশ করে যে মডেল সিদ্ধান্ত নিয়েছে তার উত্তর সম্পূর্ণ হয়েছে?

'end_turn' মানে মডেল স্বাভাবিকভাবেই শেষ হয়েছে। 'max_tokens' মানে এটি কেটে ফেলা হয়েছে, এবং 'stop_sequence' মানে আপনার একটি স্ট্রিং মিলে গেছে।

কেন একটি কম সর্বোচ্চ টোকেন মান সেট করা উত্তরগুলিকে সংক্ষিপ্ত করে না?

সীমা একটি কঠিন স্টপ, একটি নির্দেশ নয়. প্রম্পটে সংক্ষিপ্ততার জন্য জিজ্ঞাসা করুন এবং সুরক্ষা ক্যাপ হিসাবে সীমাটি রাখুন।

মিলিত স্টপ সিকোয়েন্স কি সাধারণত প্রত্যাবর্তিত টেক্সটে অন্তর্ভুক্ত করা হয়?

স্টপ সিকোয়েন্স শেষ জেনারেশন এবং সাধারণত প্রত্যাবর্তিত আউটপুটে অন্তর্ভুক্ত করা হয় না, তাই আপনার কোড সেগুলি দেখার উপর নির্ভর করা উচিত নয়।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →