পুনরুদ্ধারের জন্য ফাইন-টিউনিং এমবেডিং মডেল

একটি এমবেডিং মডেল পাঠ্যকে একটি ভেক্টরে পরিণত করে যাতে শব্দার্থগতভাবে অনুরূপ পাঠে একই ভেক্টর থাকে, সাধারণত কোসাইন সাদৃশ্য দ্বারা পরিমাপ করা হয়। RAG-তে, উভয় প্রশ্ন এবং নথির অংশই এম্বেড করা হয় এবং নিকটতম অংশগুলি পুনরুদ্ধার করা হয়। সাধারণ মডেলগুলিকে বিস্তৃত ওয়েব এবং প্রশ্ন-উত্তর ডেটাতে প্রশিক্ষণ দেওয়া হয়। তারা সর্বত্র যুক্তিসঙ্গতভাবে ভাল কাজ করে কিন্তু বিশেষ শর্তাবলী, অভ্যন্তরীণ পণ্যের নাম এবং একজন ব্যবহারকারী কীভাবে জিজ্ঞাসা করে এবং কীভাবে একটি নথি লেখা হয় তার মধ্যে ব্যবধানের সাথে লড়াই করতে পারে। ফাইন-টিউনিং তিনটি ফর্মে প্রশিক্ষণ ডেটার সাথে সেই ফাঁকটি বন্ধ করে। ইতিবাচক জোড়া হল একটি প্রশ্ন এবং একটি উত্তর যা উত্তর দেয়। ইন-ব্যাচ নেগেটিভগুলি একই প্রশিক্ষণ ব্যাচের অন্যান্য প্যাসেজগুলি ব্যবহার করে উদাহরণ হিসাবে যা কম স্কোর করা উচিত। হার্ড নেগেটিভ হল প্যাসেজ যা প্রাসঙ্গিক দেখায়, শব্দ বা বিষয় শেয়ার করে, কিন্তু প্রশ্নের উত্তর দেয় না। কঠিন নেতিবাচক সূক্ষ্ম পার্থক্যগুলি শেখায় যা সবচেয়ে গুরুত্বপূর্ণ, কারণ সহজ নেতিবাচকগুলি ইতিমধ্যেই বেস মডেল দ্বারা পৃথক করা হয়েছে। ভাল ডেটা উত্সগুলির মধ্যে রয়েছে ক্লিক সহ অনুসন্ধান লগ, নিবন্ধগুলির সাথে লিঙ্ক করা সমর্থন টিকিট, প্রায়শই জিজ্ঞাসিত প্রশ্ন পৃষ্ঠাগুলি এবং একটি ভাষা মডেল দ্বারা আপনার নথি থেকে তৈরি সিন্থেটিক প্রশ্নগুলি। সিন্থেটিক ডেটা দরকারী কিন্তু ফিল্টার করা উচিত, যেহেতু তৈরি করা প্রশ্নগুলি প্রায়শই নথির শব্দগুলি অনুলিপি করে এবং কাজটিকে খুব সহজ করে তোলে৷ একটি ঘন ঘন ভুল ধারণা হল যে ফাইন-টিউনিং হল দুর্বল পুনরুদ্ধারের প্রথম সমাধান। প্রায়শই ভাল খণ্ডন, একটি হাইব্রিড সেটআপে BM25-এর মতো কীওয়ার্ড অনুসন্ধান যোগ করা বা একটি রিরাঙ্কার যোগ করা কম পরিশ্রমে বড় লাভ দেয়। ফাইন-টিউনিং সবচেয়ে সার্থক যখন আপনি একটি পুনরুদ্ধারের ব্যবধান পরিমাপ করেন এবং কমপক্ষে কয়েক হাজার গুণমান জোড়া তৈরি করেন বা করতে পারেন। আরেকটি সমস্যা হল মিথ্যা নেতিবাচক: একটি খনন করা কঠিন নেতিবাচক যা আসলে প্রশ্নের উত্তর দেয়। মডেলটিকে দূরে ঠেলে দেওয়ার জন্য প্রশিক্ষণ দেওয়া গুণমানের ক্ষতি করে। এছাড়াও মনে রাখবেন যে এম্বেডিং মডেল পরিবর্তন করার জন্য সম্পূর্ণ নথি সংগ্রহ পুনরায় এমবেড করা প্রয়োজন, কারণ পুরানো এবং নতুন ভেক্টর তুলনাযোগ্য নয়।