የሰነድ መቆራረጥ ስልቶች

The chunk size and boundaries quietly determine retrieval quality, so getting them right often matters more than picking a fancier model.

መቆራረጥ ትላልቅ ሰነዶችን ወደ ንክሻ መጠን ወደ መክተቻ ሞዴል ይለውጣል እና ከጥያቄዎች ጋር የሚስማማ። የቋሚ መጠን መቆራረጥ በምልክት ወይም በቁምፊ ቆጠራ ይከፈላል፣ ብዙ ጊዜ ከተደራራቢ ጋር ስለዚህ ድንበር የሚሻገር ዓረፍተ ነገር ወላጅ አልባ አይሆንም። ተፈጥሯዊ መዋቅርን ለማክበር ተደጋጋሚ መቆራረጥ በተከፋዮች ተዋረድ (አንቀጾች፣ ከዚያም ዓረፍተ ነገር፣ ከዚያም ቃላት) ይከፈላል። የትርጓሜ ቡድኖች ዓረፍተ ነገሮችን ተመሳሳይነት በማካተት፣ ርዕሱ የሚቀየርበትን ቦታ በመስበር። በሰነድ አውቆ መቁረጥ ቅርጸቱን በራሱ ይከተላል፣ በማርክታውን አርዕስቶች፣ HTML መለያዎች ወይም በኮድ ተግባራት ላይ ይከፈላል። ዋናው ውጥረቱ ግርዶሽ ነው፡ ትናንሽ ቁርጥራጮች ትክክለኛ ግጥሚያዎችን ይሰጣሉ ነገር ግን በዙሪያው ያለውን አውድ ያጣሉ ፣ ትላልቅ ቁርጥራጮች ግን አውድ ይይዛሉ ነገር ግን ጠቀሜታውን ያጠፋሉ እና የማስመሰያ ገደቦችን ሊያልፍ ይችላል። ብዙ የቧንቧ መስመሮች ሰርስሮ ለማውጣት ትናንሽ ቁርጥራጮችን ያከማቻሉ ነገር ግን የተስፋፉ የወላጅ ምንባቦችን ወደ ሞዴሉ ይመገባሉ።