กลยุทธ์การแยกส่วนเอกสาร

The chunk size and boundaries quietly determine retrieval quality, so getting them right often matters more than picking a fancier model.

การแบ่งส่วนจะเปลี่ยนเอกสารขนาดใหญ่ให้เป็นข้อความขนาดพอดีคำซึ่งพอดีกับโมเดลที่ฝังไว้ และสอดคล้องกับวิธีการถามคำถาม การแยกชิ้นส่วนที่มีขนาดคงที่จะแบ่งตามโทเค็นหรือจำนวนอักขระ ซึ่งมักจะมีการทับซ้อนกัน ดังนั้นประโยคที่คร่อมขอบเขตจึงไม่ถูกละเลย การแยกส่วนแบบเรียกซ้ำจะแยกตามลำดับชั้นของตัวคั่น (ย่อหน้า ประโยค และคำ) เพื่อให้เคารพโครงสร้างตามธรรมชาติ การแบ่งกลุ่มความหมายเป็นกลุ่มประโยคโดยการฝังความคล้ายคลึงกัน ทำลายจุดที่หัวข้อเปลี่ยนไป การแบ่งส่วนตามเอกสารจะเป็นไปตามรูปแบบ โดยแยกส่วนส่วนหัวของ Markdown แท็ก HTML หรือฟังก์ชันโค้ด ความตึงเครียดหลักคือความละเอียด: ชิ้นเล็ก ๆ ให้การจับคู่ที่แม่นยำ แต่สูญเสียบริบทโดยรอบ ในขณะที่ชิ้นใหญ่มีบริบท แต่ลดความเกี่ยวข้องและอาจเกินขีดจำกัดโทเค็น ไปป์ไลน์จำนวนมากจัดเก็บชิ้นส่วนเล็กๆ ไว้สำหรับการดึงข้อมูล แต่ป้อนข้อความพาเรนต์ที่ขยายไปยังโมเดล