প্রাসঙ্গিক পুনরুদ্ধার

স্ট্যান্ডার্ড RAG দস্তাবেজগুলিকে খণ্ডে বিভক্ত করে, প্রতিটি খণ্ডকে এম্বেড করে এবং একটি প্রশ্নের অনুরূপ খণ্ডগুলি পুনরুদ্ধার করে। সমস্যা হল যে বিভাজন রেখাচিত্রমালা প্রসঙ্গ। একটি অংশ যা বলে "কোম্পানীর আয় 3% বেড়েছে" কোন কোম্পানি বা কোন সময়কাল তা বলে না, তাই শব্দার্থিক অনুসন্ধান বা কীওয়ার্ড অনুসন্ধান তাদের নাম দেওয়া প্রশ্নের সাথে এটিকে নির্ভরযোগ্যভাবে মেলাতে পারে না। Anthropic সেপ্টেম্বর 2024-এ প্রাসঙ্গিক পুনরুদ্ধার বর্ণনা করেছে। প্রতিটি খণ্ডের জন্য, একটি ভাষা মডেলকে পুরো নথি এবং খণ্ডটি দেওয়া হয় এবং একটি সংক্ষিপ্ত প্রসঙ্গ (সাধারণত প্রায় 50 থেকে 100 টোকেন) লিখতে বলা হয় যা নথির মধ্যে অংশটি রাখে। সেই প্রসঙ্গটি খণ্ডের জন্য প্রিপেন্ডেড। সম্মিলিত পাঠ্যটি তখন দুটি সূচকে ব্যবহৃত হয়: একটি এম্বেডিং সূচক (প্রসঙ্গগত এম্বেডিং) এবং একটি BM25 কীওয়ার্ড সূচক (প্রসঙ্গগত BM25)। ক্যোয়ারী করার সময়, উভয়ের ফলাফল একত্রিত করা হয় এবং ঐচ্ছিকভাবে একজন রিরেঙ্কার শীর্ষ প্রার্থীদের পুনরায় সাজায়। Anthropic এর বিভিন্ন ডেটাসেট জুড়ে রিপোর্ট করা পরীক্ষায়, প্রাসঙ্গিক এম্বেডিং এবং প্রাসঙ্গিক BM25 স্ট্যান্ডার্ড এমবেডিংয়ের তুলনায় শীর্ষ-20 পুনরুদ্ধারের ব্যর্থতার হার প্রায় 49 শতাংশ কমিয়েছে, এবং পুনরায় র‌্যাঙ্কিং যোগ করার ফলে এই হ্রাস প্রায় 67 শতাংশে এসেছে। আপনার নিজের ডেটার ফলাফলগুলি আলাদা হতে পারে, তাই এটি পরিমাপ করা মূল্যবান। সূচীকরণের সময় খরচ হয়: প্রতি খণ্ডে একটি মডেল কল, প্রতিটি সম্পূর্ণ নথি সহ। প্রম্পট ক্যাশিং এটিকে অনেক সস্তা করে তোলে, কারণ নথিটি একবার ক্যাশে করা হয় এবং এর সমস্ত অংশ জুড়ে পুনরায় ব্যবহার করা হয়। এড়ানোর জন্য ভুল ধারণা: যোগ করা প্রসঙ্গটি পুনরুদ্ধারের জন্য ব্যবহার করা হয়, এবং আপনি এটি জেনারেটরে দেখাবেন কিনা তা চয়ন করতে পারেন। এটি ভাল খণ্ডকে প্রতিস্থাপন করে না, এবং মডেলের প্রসঙ্গ উইন্ডোতে মাপসই ছোট জ্ঞানের ভিত্তিগুলির জন্য, সমস্ত কিছু সরাসরি পাঠানো যেকোনো পুনরুদ্ধার পাইপলাইনের চেয়ে সহজ হতে পারে।