دستاویز چنکنگ کی حکمت عملی

The chunk size and boundaries quietly determine retrieval quality, so getting them right often matters more than picking a fancier model.

چنکنگ بڑی دستاویزات کو کاٹنے کے سائز کے حصّوں میں بدل دیتی ہے جو سرایت کرنے والے ماڈل کے مطابق ہوتے ہیں اور سوالات پوچھے جانے کے طریقے کے مطابق ہوتے ہیں۔ فکسڈ سائز چنکنگ ٹوکن یا کریکٹر گنتی کے حساب سے تقسیم ہو جاتی ہے، اکثر اوورلیپ کے ساتھ اس لیے ایک جملہ جو حد کو گھیرے ہوئے ہے وہ یتیم نہیں ہوتا ہے۔ قدرتی ساخت کا احترام کرنے کے لیے الگ کرنے والوں کے درجہ بندی (پیراگراف، پھر جملے، پھر الفاظ) کے ساتھ بار بار آنے والی چنکنگ تقسیم ہوتی ہے۔ مماثلت کو سرایت کرکے، جہاں موضوع بدلتا ہے اسے توڑ کر سیمنٹک چنکنگ جملوں کو گروپ کرتا ہے۔ دستاویز سے آگاہی چنکنگ خود فارمیٹ کی پیروی کرتی ہے، مارک ڈاؤن ہیڈنگز، ایچ ٹی ایم ایل ٹیگز، یا کوڈ فنکشنز پر تقسیم ہوتی ہے۔ بنیادی تناؤ گرینولریٹی ہے: چھوٹے ٹکڑے قطعی مماثلت دیتے ہیں لیکن ارد گرد کے سیاق و سباق کو کھو دیتے ہیں، جب کہ بڑے حصے سیاق و سباق رکھتے ہیں لیکن مطابقت کو کم کرتے ہیں اور ٹوکن کی حد سے تجاوز کر سکتے ہیں۔ بہت سی پائپ لائنیں بازیافت کے لیے چھوٹے ٹکڑوں کو ذخیرہ کرتی ہیں لیکن ماڈل میں پیرنٹ کے توسیع شدہ حصئوں کو فیڈ کرتی ہیں۔