প্রযুক্তিগত গাইড

কনটেক্সট কমপ্যাকশন এবং কথোপকথনের ইতিহাস পরিচালনা

কথোপকথনের ইতিহাস পরিচালনা হল এমন কৌশলগুলির সেট যা একটি মডেলের প্রসঙ্গ সীমার মধ্যে একটি দীর্ঘ চ্যাট বা এজেন্ট সেশন রাখে।

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min

এই পৃষ্ঠায়4 মিনিট পড়া
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. প্রসঙ্গ কম্প্যাকশন এবং কথোপকথন ইতিহাস ব্যবস্থাপনার ভবিষ্যত
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

প্রধানগুলি হল পুরানো বাঁকগুলি বাদ দেওয়া, আগের অংশগুলিকে সংক্ষিপ্ত করা, পুরো ইতিহাসকে সংক্ষিপ্ত সংক্ষেপে সংক্ষিপ্ত করা এবং পুরানো টুল আউটপুটগুলি পরিষ্কার করা। এটি গুরুত্বপূর্ণ কারণ একটি ভাষা মডেলের কলগুলির মধ্যে কোন মেমরি নেই যা অ্যাপ্লিকেশনটি পুনরায় পাঠায়। ইতিহাস একবার জানালার বাইরে চলে গেলে, কিছু অবশ্যই কাটতে হবে এবং যা কাটবে তা সিদ্ধান্ত নেয় সহকারী সুসঙ্গত থাকে কিনা।

গভীর ডুব

বেশির ভাগ চ্যাট এপিআই স্টেটলেস। প্রতিটি অনুরোধ এখন পর্যন্ত কথোপকথনটি পুনরায় পাঠায় এবং মডেলটি স্ক্র্যাচ থেকে এটি পড়ে। টোকেন, খরচ এবং লেটেন্সি তাই সেশনের সময় বাড়ার সাথে সাথে বাড়তে থাকে, যতক্ষণ না ইতিহাসটি প্রসঙ্গ সীমাকে হিট করে এবং অনুরোধটি ব্যর্থ হয় বা কেটে যায়। সেই বিন্দুর আগেই গুণমান হ্রাস পেতে পারে, কারণ প্রাসঙ্গিক বিবরণ পুরানো উপাদানগুলির মধ্যে সমাহিত হয়। সবচেয়ে সহজ কৌশল হল ছেঁটে ফেলা, সাধারণত একটি স্লাইডিং উইন্ডো হিসাবে: সিস্টেম প্রম্পট এবং সাম্প্রতিক বাঁকগুলি রাখুন এবং বাকিগুলি ফেলে দিন। এটি সস্তা এবং অনুমানযোগ্য, তবে এটি প্রাথমিক তথ্য ভুলে যায়, যেমন ব্যবহারকারীর শুরুতে উল্লেখ করা সীমাবদ্ধতা। একটি সাধারণ পরিমার্জন হল গুরুত্বপূর্ণ বার্তাগুলিকে পিন করা যাতে সেগুলি কখনই বাদ না যায়৷ রোলিং সংক্ষিপ্তকরণ একটি মডেল-লিখিত সারাংশের সাথে পুরানো পালাগুলিকে প্রতিস্থাপন করে যা কথোপকথন বাড়ার সাথে সাথে আপডেট করা হয়। এটা অনেক কম টোকেন মধ্যে সারাংশ রাখে. খরচ হল যে সারাংশগুলি বিশদ হারায় এবং ত্রুটিগুলি প্রবর্তন করতে পারে এবং সেই ত্রুটিগুলি যৌগিক হয় যখন একটি সারাংশ নিজেই আবার সংক্ষিপ্ত হয়। কমপ্যাকশন হল আরও ইচ্ছাকৃত সংস্করণ যা এজেন্ট সরঞ্জামগুলিতে ব্যবহৃত হয়। যখন টোকেন ব্যবহার একটি থ্রেশহোল্ড অতিক্রম করে, সিস্টেমটি লক্ষ্য, অগ্রগতি, সিদ্ধান্ত, খোলা সমস্যা এবং মূল ফাইলের নামগুলি কভার করে একটি কাঠামোগত হ্যান্ডঅফ লিখতে বলে। এটি তারপর সেই হ্যান্ডঅফ এবং সাম্প্রতিক বাঁকগুলির সাথে একটি নতুন প্রসঙ্গ শুরু করে। Claude Code, উদাহরণস্বরূপ, একটি কমপ্যাক্ট কমান্ড রয়েছে এবং এটি সীমার কাছাকাছি স্বয়ংক্রিয়ভাবে কমপ্যাক্ট করতে পারে। টুল-ফলাফল ক্লিয়ারিং এজেন্ট সেশনে ব্লোটের সবচেয়ে বড় উৎসকে লক্ষ্য করে: অনুসন্ধান, ফাইল রিড এবং কমান্ড থেকে বড় আউটপুট যা একবার দরকারী ছিল। সংক্ষিপ্ত স্থানধারকদের জন্য তাদের অদলবদল করা স্থান খালি করে এবং এখনও রেকর্ড করে যে কলটি ঘটেছে। বাহ্যিক মেমরি একটি ফাইল বা ডাটাবেসে তথ্য সঞ্চয় করে এবং প্রাসঙ্গিক হলে সেগুলি পুনরুদ্ধার করে, তাই তারা যে কোনও ছাঁটাই থেকে বেঁচে থাকে। একটি সাধারণ ভুল ধারণা হল যে মডেলটি নিজেরাই চ্যাটের আগের অংশগুলি মনে রাখে। অ্যাপ্লিকেশনটি পুনরায় পাঠাতে বা পুনরুদ্ধার করতে যা বেছে নেয় তা থেকে যেকোনো ধারাবাহিকতা আসে।

বাস্তব-বিশ্ব বাস্তবায়ন

একটি চ্যাটবট সিস্টেম প্রম্পট এবং শেষ 20টি বার্তা রাখে এবং পুরানো কিছু ড্রপ করে। এটি সস্তা, তবে এটি ব্যবহারকারীর প্রথম বার্তায় দেওয়া নাম এবং বাজেট ভুলে যায়।

প্রতি 10 বারে, একটি ছোট মডেল কথোপকথনের পুরোনো অংশটিকে একটি অনুচ্ছেদে সংক্ষিপ্ত করে যা প্রসঙ্গটির শীর্ষে থাকে। এটি একটি রোলিং সারাংশ.

একটি কোডিং এজেন্ট তার সীমার কাছাকাছি একটি হ্যান্ডঅফ লেখে: লক্ষ্য, ফাইল পরিবর্তিত, খোলা বাগ এবং সিদ্ধান্ত নেওয়া। এটি তারপর সেই হ্যান্ডঅফ এবং সাম্প্রতিক ফাইলগুলি ধারণকারী একটি নতুন প্রসঙ্গ শুরু করে।

একটি এজেন্ট কয়েকটি বাঁকের চেয়ে পুরানো অনুসন্ধান ফলাফলকে একটি ছোট স্থানধারক দিয়ে প্রতিস্থাপন করে, যেমন '[ওয়েব সার্চ আউটপুট সাফ: 12 ফলাফল]'। এজেন্ট তাদের উপর কাজ করার পরে কাঁচা ফলাফল খুব কমই প্রয়োজন হয়।

প্রসঙ্গ কম্প্যাকশন এবং কথোপকথন ইতিহাস ব্যবস্থাপনার ভবিষ্যত

প্রদানকারীরা তাদের প্ল্যাটফর্মে ইতিহাস ব্যবস্থাপনা তৈরি করা শুরু করেছে। বৈশিষ্ট্যগুলির মধ্যে রয়েছে সার্ভার-সাইড কথোপকথনের অবস্থা, স্বয়ংক্রিয় কম্প্যাকশন এবং প্রসঙ্গ সম্পাদনা যা পুরানো সরঞ্জামের ফলাফলগুলিকে সাফ করে। এটি বয়লারপ্লেট কেটে দেয়, তবে বিকাশকারীদের এখনও সিদ্ধান্ত নিতে হবে কোনটি কখনই ভুলে যাওয়া উচিত নয়। গবেষণা চলতে থাকে মডেলগুলির উপর যেগুলি দীর্ঘ প্রসঙ্গগুলিকে আরও নির্ভরযোগ্যভাবে ব্যবহার করে এবং মেমরি সিস্টেমগুলিতে যা সেশন জুড়ে তথ্যগুলি সঞ্চয় করে এবং পুনরুদ্ধার করে৷ কমপ্যাকশন সম্ভবত এজেন্ট ফ্রেমওয়ার্কের একটি ডিফল্ট আচরণে পরিণত হবে, কিন্তু বিশদ এবং স্থানের মধ্যে ট্রেডঅফ দূরে যাবে না। কোনও পদ্ধতিই সবকিছু বিনামূল্যে রাখে না, তাই যা হারিয়ে যায় তা পরীক্ষা করা কাজের অংশ থেকে যাবে।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the Context Compaction and Conversation History Management quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

কনটেক্সট কমপ্যাকশন এবং কথোপকথন ইতিহাস ব্যবস্থাপনা কি?

কথোপকথনের ইতিহাস পরিচালনা হল এমন কৌশলগুলির সেট যা একটি মডেলের প্রসঙ্গ সীমার মধ্যে একটি দীর্ঘ চ্যাট বা এজেন্ট সেশন রাখে। প্রধানগুলি হল পুরানো বাঁকগুলি বাদ দেওয়া, আগের অংশগুলিকে সংক্ষিপ্ত করা, পুরো ইতিহাসকে সংক্ষিপ্ত সংক্ষেপে সংক্ষিপ্ত করা এবং পুরানো টুল আউটপুটগুলি পরিষ্কার করা। এটি গুরুত্বপূর্ণ কারণ একটি ভাষা মডেলের কলগুলির মধ্যে কোন মেমরি নেই যা অ্যাপ্লিকেশনটি পুনরায় পাঠায়। ইতিহাস একবার জানালার বাইরে চলে গেলে, কিছু অবশ্যই কাটতে হবে এবং যা কাটবে তা সিদ্ধান্ত নেয় সহকারী সুসঙ্গত থাকে কিনা।

কেন দীর্ঘ চ্যাট সেশন ক্রমাগত আরো ব্যয়বহুল হয়ে ওঠে?

স্টেটলেস এপিআই প্রতিটি কলে পুরো ইতিহাস প্রক্রিয়া করে। ইতিহাস বাড়ার সাথে সাথে প্রতিটি অনুরোধের টোকেন, খরচ এবং বিলম্বিত হয়।

স্লাইডিং-উইন্ডো ট্রাঙ্কেশনের প্রধান দুর্বলতা কী?

শুধুমাত্র সাম্প্রতিক বাঁকগুলি রাখা সস্তা এবং অনুমানযোগ্য, তবে যে কোনও কিছু যা জানালার বাইরে পড়ে তা পিন করা না থাকলে তা চলে যায়।

কোন ঝুঁকি রোলিং সংক্ষিপ্তকরণের জন্য নির্দিষ্ট?

সারসংক্ষেপের প্রতিটি রাউন্ড ক্ষতিকারক। একটি সারাংশে একটি ভুল পরবর্তীতে বহন করে, তাই একটি দীর্ঘ সেশনে ত্রুটিগুলি তৈরি হতে পারে।

কম্প্যাকশন সাধারণত এজেন্ট টুলে কী উৎপন্ন করে?

কমপ্যাকশন সেশনটিকে একটি ইচ্ছাকৃত সংক্ষিপ্ত আকারে ঘনীভূত করে এবং এটির সাথে একটি নতুন প্রসঙ্গ শুরু করে এবং সবচেয়ে সাম্প্রতিক বাঁকগুলি। এজেন্ট সম্পূর্ণ ইতিহাস ছাড়াই চালিয়ে যেতে পারে।

কেন পুরানো টুলের ফলাফল সাফ করা এজেন্ট সেশনে এত কার্যকর?

টুল আউটপুট খুব বড় হতে পারে এবং প্রায়ই শুধুমাত্র একবার দরকারী। স্থানধারকদের জন্য তাদের অদলবদল করা অনেক জায়গা খালি করে এবং একটি রেকর্ড রাখে যে কলটি ঘটেছে।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →