কনটেক্সট কমপ্যাকশন এবং কথোপকথনের ইতিহাস পরিচালনা

বেশির ভাগ চ্যাট এপিআই স্টেটলেস। প্রতিটি অনুরোধ এখন পর্যন্ত কথোপকথনটি পুনরায় পাঠায় এবং মডেলটি স্ক্র্যাচ থেকে এটি পড়ে। টোকেন, খরচ এবং লেটেন্সি তাই সেশনের সময় বাড়ার সাথে সাথে বাড়তে থাকে, যতক্ষণ না ইতিহাসটি প্রসঙ্গ সীমাকে হিট করে এবং অনুরোধটি ব্যর্থ হয় বা কেটে যায়। সেই বিন্দুর আগেই গুণমান হ্রাস পেতে পারে, কারণ প্রাসঙ্গিক বিবরণ পুরানো উপাদানগুলির মধ্যে সমাহিত হয়। সবচেয়ে সহজ কৌশল হল ছেঁটে ফেলা, সাধারণত একটি স্লাইডিং উইন্ডো হিসাবে: সিস্টেম প্রম্পট এবং সাম্প্রতিক বাঁকগুলি রাখুন এবং বাকিগুলি ফেলে দিন। এটি সস্তা এবং অনুমানযোগ্য, তবে এটি প্রাথমিক তথ্য ভুলে যায়, যেমন ব্যবহারকারীর শুরুতে উল্লেখ করা সীমাবদ্ধতা। একটি সাধারণ পরিমার্জন হল গুরুত্বপূর্ণ বার্তাগুলিকে পিন করা যাতে সেগুলি কখনই বাদ না যায়৷ রোলিং সংক্ষিপ্তকরণ একটি মডেল-লিখিত সারাংশের সাথে পুরানো পালাগুলিকে প্রতিস্থাপন করে যা কথোপকথন বাড়ার সাথে সাথে আপডেট করা হয়। এটা অনেক কম টোকেন মধ্যে সারাংশ রাখে. খরচ হল যে সারাংশগুলি বিশদ হারায় এবং ত্রুটিগুলি প্রবর্তন করতে পারে এবং সেই ত্রুটিগুলি যৌগিক হয় যখন একটি সারাংশ নিজেই আবার সংক্ষিপ্ত হয়। কমপ্যাকশন হল আরও ইচ্ছাকৃত সংস্করণ যা এজেন্ট সরঞ্জামগুলিতে ব্যবহৃত হয়। যখন টোকেন ব্যবহার একটি থ্রেশহোল্ড অতিক্রম করে, সিস্টেমটি লক্ষ্য, অগ্রগতি, সিদ্ধান্ত, খোলা সমস্যা এবং মূল ফাইলের নামগুলি কভার করে একটি কাঠামোগত হ্যান্ডঅফ লিখতে বলে। এটি তারপর সেই হ্যান্ডঅফ এবং সাম্প্রতিক বাঁকগুলির সাথে একটি নতুন প্রসঙ্গ শুরু করে। Claude Code, উদাহরণস্বরূপ, একটি কমপ্যাক্ট কমান্ড রয়েছে এবং এটি সীমার কাছাকাছি স্বয়ংক্রিয়ভাবে কমপ্যাক্ট করতে পারে। টুল-ফলাফল ক্লিয়ারিং এজেন্ট সেশনে ব্লোটের সবচেয়ে বড় উৎসকে লক্ষ্য করে: অনুসন্ধান, ফাইল রিড এবং কমান্ড থেকে বড় আউটপুট যা একবার দরকারী ছিল। সংক্ষিপ্ত স্থানধারকদের জন্য তাদের অদলবদল করা স্থান খালি করে এবং এখনও রেকর্ড করে যে কলটি ঘটেছে। বাহ্যিক মেমরি একটি ফাইল বা ডাটাবেসে তথ্য সঞ্চয় করে এবং প্রাসঙ্গিক হলে সেগুলি পুনরুদ্ধার করে, তাই তারা যে কোনও ছাঁটাই থেকে বেঁচে থাকে। একটি সাধারণ ভুল ধারণা হল যে মডেলটি নিজেরাই চ্যাটের আগের অংশগুলি মনে রাখে। অ্যাপ্লিকেশনটি পুনরায় পাঠাতে বা পুনরুদ্ধার করতে যা বেছে নেয় তা থেকে যেকোনো ধারাবাহিকতা আসে।