ক্যোয়ারী পুনর্লিখন এবং বহু-কোয়েরি পুনরুদ্ধার

পুনরুদ্ধারের মান কোয়েরির উপর ব্যাপকভাবে নির্ভর করে। ব্যবহারকারীরা সংক্ষিপ্ত, অস্পষ্ট বা কথোপকথনমূলক প্রশ্ন লেখেন, যখন নথিগুলি তাদের নিজস্ব শব্দভাণ্ডার ব্যবহার করে। অনুসন্ধানের আগে ক্যোয়ারী রূপান্তর সেই ফাঁকটি বন্ধ করে দেয়। সহজতম ফর্মটি হল পুনর্লিখন: একটি LLM ব্যবহারকারীর বার্তাটিকে একটি পরিষ্কার অনুসন্ধান ক্যোয়ারীতে পরিণত করে৷ মাল্টি-টার্ন চ্যাটে এটি অপরিহার্য, যেখানে ফলো-আপ যেমন "এবং 2023 সালে?" ইতিহাস ছাড়া কিছুই বোঝায় না, তাই সিস্টেমটি কথোপকথনকে একটি স্বতন্ত্র প্রশ্নে ঘনীভূত করে। পচন একটি জটিল প্রশ্নকে উপ-প্রশ্নগুলিতে বিভক্ত করে যা আলাদাভাবে পুনরুদ্ধার করা যেতে পারে, তুলনা বা মাল্টি-হপ প্রশ্নের জন্য দরকারী। 2023 সালে Google DeepMind গবেষকদের দ্বারা বর্ণিত স্টেপ-ব্যাক প্রম্পটিং, ব্যাকগ্রাউন্ড নীতিগুলি পুনরুদ্ধার করার জন্য প্রথমে একটি আরও সাধারণ প্রশ্ন জিজ্ঞাসা করে। বহু-কোয়েরি পুনরুদ্ধার প্রশ্নের বিভিন্ন রূপ তৈরি করে, প্রতিটির জন্য একটি অনুসন্ধান চালায় এবং ফলাফলগুলিকে একত্রিত করে। LangChain এটিকে এর MultiQueryRetriever এর মাধ্যমে জনপ্রিয় করেছে। RAG-ফিউশন রেসিপ্রোকাল র‌্যাঙ্ক ফিউশন (RRF) এর সাথে একাধিক প্রশ্ন একত্রিত করে, 2009 সালে কর্ম্যাক, ক্লার্ক এবং বুয়েটচার দ্বারা বর্ণিত একটি পদ্ধতি, যা ফলাফল তালিকা জুড়ে 1/(k + র‌্যাঙ্ক) যোগ করে প্রতিটি নথির স্কোর করে। তুলনামূলক কাঁচা স্কোরের প্রয়োজন ছাড়াই বেশ কয়েকটি তালিকায় উচ্চতর দস্তাবেজগুলি শীর্ষে উঠে যায়। একটি সম্পর্কিত কৌশল, HyDE (Hypothetical Document Embeddings, Gao and colleagues, 2022), মডেলটিতে একটি অনুমানমূলক উত্তর লেখা আছে এবং প্রশ্নের পরিবর্তে এটি এম্বেড করা হয়েছে, কারণ একটি উত্তর-আকৃতির পাঠ্য প্রায়শই এমবেডিং স্পেসে বাস্তব উত্তর প্যাসেজের কাছাকাছি থাকে। ভুল ধারণা: আরও প্রশ্ন সবসময় ভাল হয় না। প্রতিটি ভেরিয়েন্ট লেটেন্সি এবং খরচ যোগ করে, এবং খারাপভাবে জেনারেট করা ভেরিয়েন্ট অপ্রাসঙ্গিক নথিতে টানতে, ব্যবহারকারীর অভিপ্রায় থেকে সরে যেতে পারে। পুনর্লিখনও তারিখ বা পণ্যের নামগুলির মতো গুরুত্বপূর্ণ সীমাবদ্ধতাগুলিকে বাদ দিতে পারে। এই পদক্ষেপগুলি অবলম্বন করার আগে বাস্তব প্রশ্নগুলিতে প্রত্যাহার এবং উত্তরের গুণমান পরিমাপ করুন।