পরবর্তী আপপরবর্তী গাইড
ML এর জন্য Python নির্ভরতা ব্যবস্থাপনা
টেকনিক্যাল
প্রযুক্তিগত গাইড
কথোপকথনের ইতিহাস পরিচালনা হল এমন কৌশলগুলির সেট যা একটি মডেলের প্রসঙ্গ সীমার মধ্যে একটি দীর্ঘ চ্যাট বা এজেন্ট সেশন রাখে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
প্রধানগুলি হল পুরানো বাঁকগুলি বাদ দেওয়া, আগের অংশগুলিকে সংক্ষিপ্ত করা, পুরো ইতিহাসকে সংক্ষিপ্ত সংক্ষেপে সংক্ষিপ্ত করা এবং পুরানো টুল আউটপুটগুলি পরিষ্কার করা। এটি গুরুত্বপূর্ণ কারণ একটি ভাষা মডেলের কলগুলির মধ্যে কোন মেমরি নেই যা অ্যাপ্লিকেশনটি পুনরায় পাঠায়। ইতিহাস একবার জানালার বাইরে চলে গেলে, কিছু অবশ্যই কাটতে হবে এবং যা কাটবে তা সিদ্ধান্ত নেয় সহকারী সুসঙ্গত থাকে কিনা।
বেশির ভাগ চ্যাট এপিআই স্টেটলেস। প্রতিটি অনুরোধ এখন পর্যন্ত কথোপকথনটি পুনরায় পাঠায় এবং মডেলটি স্ক্র্যাচ থেকে এটি পড়ে। টোকেন, খরচ এবং লেটেন্সি তাই সেশনের সময় বাড়ার সাথে সাথে বাড়তে থাকে, যতক্ষণ না ইতিহাসটি প্রসঙ্গ সীমাকে হিট করে এবং অনুরোধটি ব্যর্থ হয় বা কেটে যায়। সেই বিন্দুর আগেই গুণমান হ্রাস পেতে পারে, কারণ প্রাসঙ্গিক বিবরণ পুরানো উপাদানগুলির মধ্যে সমাহিত হয়। সবচেয়ে সহজ কৌশল হল ছেঁটে ফেলা, সাধারণত একটি স্লাইডিং উইন্ডো হিসাবে: সিস্টেম প্রম্পট এবং সাম্প্রতিক বাঁকগুলি রাখুন এবং বাকিগুলি ফেলে দিন। এটি সস্তা এবং অনুমানযোগ্য, তবে এটি প্রাথমিক তথ্য ভুলে যায়, যেমন ব্যবহারকারীর শুরুতে উল্লেখ করা সীমাবদ্ধতা। একটি সাধারণ পরিমার্জন হল গুরুত্বপূর্ণ বার্তাগুলিকে পিন করা যাতে সেগুলি কখনই বাদ না যায়৷ রোলিং সংক্ষিপ্তকরণ একটি মডেল-লিখিত সারাংশের সাথে পুরানো পালাগুলিকে প্রতিস্থাপন করে যা কথোপকথন বাড়ার সাথে সাথে আপডেট করা হয়। এটা অনেক কম টোকেন মধ্যে সারাংশ রাখে. খরচ হল যে সারাংশগুলি বিশদ হারায় এবং ত্রুটিগুলি প্রবর্তন করতে পারে এবং সেই ত্রুটিগুলি যৌগিক হয় যখন একটি সারাংশ নিজেই আবার সংক্ষিপ্ত হয়। কমপ্যাকশন হল আরও ইচ্ছাকৃত সংস্করণ যা এজেন্ট সরঞ্জামগুলিতে ব্যবহৃত হয়। যখন টোকেন ব্যবহার একটি থ্রেশহোল্ড অতিক্রম করে, সিস্টেমটি লক্ষ্য, অগ্রগতি, সিদ্ধান্ত, খোলা সমস্যা এবং মূল ফাইলের নামগুলি কভার করে একটি কাঠামোগত হ্যান্ডঅফ লিখতে বলে। এটি তারপর সেই হ্যান্ডঅফ এবং সাম্প্রতিক বাঁকগুলির সাথে একটি নতুন প্রসঙ্গ শুরু করে। Claude Code, উদাহরণস্বরূপ, একটি কমপ্যাক্ট কমান্ড রয়েছে এবং এটি সীমার কাছাকাছি স্বয়ংক্রিয়ভাবে কমপ্যাক্ট করতে পারে। টুল-ফলাফল ক্লিয়ারিং এজেন্ট সেশনে ব্লোটের সবচেয়ে বড় উৎসকে লক্ষ্য করে: অনুসন্ধান, ফাইল রিড এবং কমান্ড থেকে বড় আউটপুট যা একবার দরকারী ছিল। সংক্ষিপ্ত স্থানধারকদের জন্য তাদের অদলবদল করা স্থান খালি করে এবং এখনও রেকর্ড করে যে কলটি ঘটেছে। বাহ্যিক মেমরি একটি ফাইল বা ডাটাবেসে তথ্য সঞ্চয় করে এবং প্রাসঙ্গিক হলে সেগুলি পুনরুদ্ধার করে, তাই তারা যে কোনও ছাঁটাই থেকে বেঁচে থাকে। একটি সাধারণ ভুল ধারণা হল যে মডেলটি নিজেরাই চ্যাটের আগের অংশগুলি মনে রাখে। অ্যাপ্লিকেশনটি পুনরায় পাঠাতে বা পুনরুদ্ধার করতে যা বেছে নেয় তা থেকে যেকোনো ধারাবাহিকতা আসে।
একটি চ্যাটবট সিস্টেম প্রম্পট এবং শেষ 20টি বার্তা রাখে এবং পুরানো কিছু ড্রপ করে। এটি সস্তা, তবে এটি ব্যবহারকারীর প্রথম বার্তায় দেওয়া নাম এবং বাজেট ভুলে যায়।
প্রতি 10 বারে, একটি ছোট মডেল কথোপকথনের পুরোনো অংশটিকে একটি অনুচ্ছেদে সংক্ষিপ্ত করে যা প্রসঙ্গটির শীর্ষে থাকে। এটি একটি রোলিং সারাংশ.
একটি কোডিং এজেন্ট তার সীমার কাছাকাছি একটি হ্যান্ডঅফ লেখে: লক্ষ্য, ফাইল পরিবর্তিত, খোলা বাগ এবং সিদ্ধান্ত নেওয়া। এটি তারপর সেই হ্যান্ডঅফ এবং সাম্প্রতিক ফাইলগুলি ধারণকারী একটি নতুন প্রসঙ্গ শুরু করে।
একটি এজেন্ট কয়েকটি বাঁকের চেয়ে পুরানো অনুসন্ধান ফলাফলকে একটি ছোট স্থানধারক দিয়ে প্রতিস্থাপন করে, যেমন '[ওয়েব সার্চ আউটপুট সাফ: 12 ফলাফল]'। এজেন্ট তাদের উপর কাজ করার পরে কাঁচা ফলাফল খুব কমই প্রয়োজন হয়।
প্রদানকারীরা তাদের প্ল্যাটফর্মে ইতিহাস ব্যবস্থাপনা তৈরি করা শুরু করেছে। বৈশিষ্ট্যগুলির মধ্যে রয়েছে সার্ভার-সাইড কথোপকথনের অবস্থা, স্বয়ংক্রিয় কম্প্যাকশন এবং প্রসঙ্গ সম্পাদনা যা পুরানো সরঞ্জামের ফলাফলগুলিকে সাফ করে। এটি বয়লারপ্লেট কেটে দেয়, তবে বিকাশকারীদের এখনও সিদ্ধান্ত নিতে হবে কোনটি কখনই ভুলে যাওয়া উচিত নয়। গবেষণা চলতে থাকে মডেলগুলির উপর যেগুলি দীর্ঘ প্রসঙ্গগুলিকে আরও নির্ভরযোগ্যভাবে ব্যবহার করে এবং মেমরি সিস্টেমগুলিতে যা সেশন জুড়ে তথ্যগুলি সঞ্চয় করে এবং পুনরুদ্ধার করে৷ কমপ্যাকশন সম্ভবত এজেন্ট ফ্রেমওয়ার্কের একটি ডিফল্ট আচরণে পরিণত হবে, কিন্তু বিশদ এবং স্থানের মধ্যে ট্রেডঅফ দূরে যাবে না। কোনও পদ্ধতিই সবকিছু বিনামূল্যে রাখে না, তাই যা হারিয়ে যায় তা পরীক্ষা করা কাজের অংশ থেকে যাবে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
কথোপকথনের ইতিহাস পরিচালনা হল এমন কৌশলগুলির সেট যা একটি মডেলের প্রসঙ্গ সীমার মধ্যে একটি দীর্ঘ চ্যাট বা এজেন্ট সেশন রাখে। প্রধানগুলি হল পুরানো বাঁকগুলি বাদ দেওয়া, আগের অংশগুলিকে সংক্ষিপ্ত করা, পুরো ইতিহাসকে সংক্ষিপ্ত সংক্ষেপে সংক্ষিপ্ত করা এবং পুরানো টুল আউটপুটগুলি পরিষ্কার করা। এটি গুরুত্বপূর্ণ কারণ একটি ভাষা মডেলের কলগুলির মধ্যে কোন মেমরি নেই যা অ্যাপ্লিকেশনটি পুনরায় পাঠায়। ইতিহাস একবার জানালার বাইরে চলে গেলে, কিছু অবশ্যই কাটতে হবে এবং যা কাটবে তা সিদ্ধান্ত নেয় সহকারী সুসঙ্গত থাকে কিনা।
স্টেটলেস এপিআই প্রতিটি কলে পুরো ইতিহাস প্রক্রিয়া করে। ইতিহাস বাড়ার সাথে সাথে প্রতিটি অনুরোধের টোকেন, খরচ এবং বিলম্বিত হয়।
শুধুমাত্র সাম্প্রতিক বাঁকগুলি রাখা সস্তা এবং অনুমানযোগ্য, তবে যে কোনও কিছু যা জানালার বাইরে পড়ে তা পিন করা না থাকলে তা চলে যায়।
সারসংক্ষেপের প্রতিটি রাউন্ড ক্ষতিকারক। একটি সারাংশে একটি ভুল পরবর্তীতে বহন করে, তাই একটি দীর্ঘ সেশনে ত্রুটিগুলি তৈরি হতে পারে।
কমপ্যাকশন সেশনটিকে একটি ইচ্ছাকৃত সংক্ষিপ্ত আকারে ঘনীভূত করে এবং এটির সাথে একটি নতুন প্রসঙ্গ শুরু করে এবং সবচেয়ে সাম্প্রতিক বাঁকগুলি। এজেন্ট সম্পূর্ণ ইতিহাস ছাড়াই চালিয়ে যেতে পারে।
টুল আউটপুট খুব বড় হতে পারে এবং প্রায়ই শুধুমাত্র একবার দরকারী। স্থানধারকদের জন্য তাদের অদলবদল করা অনেক জায়গা খালি করে এবং একটি রেকর্ড রাখে যে কলটি ঘটেছে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
ML এর জন্য Python নির্ভরতা ব্যবস্থাপনা
টেকনিক্যাল