নথি খণ্ডন কৌশল

The chunk size and boundaries quietly determine retrieval quality, so getting them right often matters more than picking a fancier model.

চঙ্কিং বড় নথিগুলিকে কামড়ের আকারের প্যাসেজে পরিণত করে যা একটি এমবেডিং মডেলের সাথে মানানসই এবং কীভাবে প্রশ্ন জিজ্ঞাসা করা হয় তার সাথে সারিবদ্ধ করে। নির্দিষ্ট-আকারের খণ্ডটি একটি টোকেন বা অক্ষর গণনা দ্বারা বিভক্ত হয়, প্রায়শই ওভারল্যাপ সহ তাই একটি সীমানা জুড়ে দেওয়া বাক্য এতিম হয় না। প্রাকৃতিক গঠনকে সম্মান করার জন্য বিভাজক (অনুচ্ছেদ, তারপর বাক্য, তারপর শব্দ) ক্রমানুসারে বিভক্ত হয়। শব্দার্থিক খণ্ডে সাদৃশ্য এম্বেড করে, বিষয় যেখানে স্থানান্তরিত হয় তা ভেঙে বাক্যাংশকে গোষ্ঠীভুক্ত করে। মার্কডাউন শিরোনাম, এইচটিএমএল ট্যাগ বা কোড ফাংশনে বিভক্ত হয়ে ডকুমেন্ট-সচেতন খণ্ডন নিজেই ফর্ম্যাট অনুসরণ করে। মূল টান হল গ্রানুলারিটি: ছোট খণ্ডগুলি সুনির্দিষ্ট মিল দেয় কিন্তু আশেপাশের প্রসঙ্গ হারায়, যখন বড় খণ্ডগুলি প্রসঙ্গ বহন করে কিন্তু প্রাসঙ্গিকতা কমিয়ে দেয় এবং টোকেন সীমা অতিক্রম করতে পারে। অনেক পাইপলাইন পুনরুদ্ধারের জন্য ছোট খণ্ডগুলি সঞ্চয় করে তবুও মডেলে প্রসারিত প্যারেন্ট প্যাসেজগুলিকে ফিড করে৷