คู่มือทางเทคนิค

เอกสารหลักและการดึงข้อมูลจากน้อยไปใหญ่

การเรียกค้นเอกสารหลัก หรือที่เรียกว่าการเรียกค้นจากขนาดเล็กไปใหญ่ การค้นหาบนส่วนข้อความขนาดเล็กและแม่นยำ แต่ส่งแบบจำลองภาษาของส่วนหรือเอกสารที่ใหญ่กว่าแต่ละส่วนมา

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของเอกสารหลักและการสืบค้นข้อมูลจากน้อยไปมาก
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

สิ่งสำคัญคือเนื่องจากจะขจัดข้อดีข้อเสียของการแบ่งส่วนตามปกติ: ส่วนเล็กๆ จะจับคู่คำค้นหาได้อย่างถูกต้อง และส่วนหลักที่ใหญ่กว่าจะให้บริบทแก่โมเดลเพียงพอที่จะตอบได้อย่างถูกต้อง

เจาะลึก

การตัดชิ้นขนาดคงที่จะทำให้ต้องเสียการแลกเปลี่ยน ชิ้นส่วนเล็กๆ เพียงไม่กี่ประโยค ทำให้เกิดการฝังที่คมชัด เวกเตอร์แสดงถึงแนวคิดเดียว ดังนั้นข้อความค้นหาเกี่ยวกับแนวคิดนั้นจึงตรงกับแนวคิดนั้นอย่างใกล้ชิด แต่ท่อนสองประโยคไม่ค่อยมีบริบทเพียงพอสำหรับแบบจำลองที่จะตอบได้ดี อาจละเว้นคำจำกัดความสามย่อหน้าก่อนหน้าหรือข้อยกเว้นในประโยคถัดไป ชิ้นใหญ่มีบริบทนั้น แต่การฝังของพวกมันทำให้ความคิดหลายอย่างพร่ามัวด้วยกัน ดังนั้นการดึงข้อมูลจึงมีความแม่นยำน้อยลง และข้อความที่เกี่ยวข้องสามารถได้รับคะแนนเหนือกว่าชิ้นที่เป็นเพียงหัวข้อเท่านั้น การดึงข้อมูลจากน้อยไปหามากจะแยกงานทั้งสองออกจากกัน ระบบจะจัดทำดัชนีชิ้นส่วนย่อยสำหรับการค้นหา และเด็กแต่ละคนจะเก็บตัวชี้ไปยังพาเรนต์ที่มีขนาดใหญ่กว่า: ส่วน หน้า หรือเอกสารทั้งหมด เมื่อถึงเวลาสืบค้น ระบบจะค้นหาเด็กที่ดีที่สุด จากนั้นค้นหาและส่งคืนพ่อแม่ของพวกเขา หากมีบุตรหลานหลายคนแชร์ผู้ปกครองเพียงคนเดียว ผู้ปกครองจะถูกส่งเพียงครั้งเดียว ซึ่งจะลบรายการที่ซ้ำกันออกด้วย ParentDocumentRetriever ของ LangChain ปรับใช้สิ่งนี้กับที่เก็บเวกเตอร์สำหรับเด็กและที่เก็บเอกสารแยกต่างหากสำหรับผู้ปกครอง LlamaIndex นำเสนอรูปแบบที่เกี่ยวข้อง: การเรียกค้นหน้าต่างประโยค ซึ่งส่งคืนประโยคที่ตรงกันบวกด้วยจำนวนประโยคใกล้เคียงคงที่ และการเรียกค้นแบบรวมอัตโนมัติ ซึ่งจะแทนที่ leaf chunks ที่ดึงข้อมูลจำนวนมากด้วยโหนดพาเรนต์ที่ใช้ร่วมกันเมื่อมีจำนวนตรงกันเพียงพอ แนวทางนี้มีแนวโน้มที่จะเอาชนะการจัดทำเอกสารที่มีโครงสร้างเป็นชิ้นขนาดคงที่ เช่น คู่มือ สัญญา นโยบาย และตำราเรียน โดยความหมายจะขึ้นอยู่กับส่วนโดยรอบ ช่วยน้อยลงเมื่อเอกสารมีน้อยอยู่แล้ว หรือเมื่อผู้ปกครองมีขนาดใหญ่จนบางเอกสารล้นหน้าต่างบริบทหรือฝังคำตอบไว้ในข้อความที่ไม่เกี่ยวข้อง ความเข้าใจผิดที่พบบ่อยคือนี่เป็นเพียงการใช้ชิ้นที่ใหญ่กว่าเท่านั้น ไม่ใช่: หน่วยดึงข้อมูลและหน่วยสร้างมีขนาดแตกต่างกันโดยเจตนา ดังนั้น คุณจึงจับคู่ได้อย่างแม่นยำโดยไม่ทำให้โมเดลบริบทเสียหาย

การใช้งานจริงในโลกแห่งความเป็นจริง

บอทช่วยเหลือด้าน IT ภายในจะจัดทำดัชนีแต่ละขั้นตอนการแก้ไขปัญหาเป็นส่วนย่อยที่แยกจากกัน แต่เมื่อขั้นตอนตรงกันก็จะส่งคืนขั้นตอนทั้งหมด ดังนั้นโมเดลจะไม่บอกผู้ใช้ให้ทำขั้นตอนที่ 4 โดยไม่มีขั้นตอนที่ 1 ถึง 3

เครื่องมือวิจัยทางกฎหมายจะจับคู่ประโยคเดียวเกี่ยวกับระยะเวลาแจ้งการยุติ จากนั้นจึงส่งแบบจำลองในส่วนสัญญาฉบับสมบูรณ์ รวมถึงคำจำกัดความและข้อยกเว้นที่เปลี่ยนแปลงความหมายของข้อกำหนดดังกล่าว

ผู้ช่วยหลักสูตรของมหาวิทยาลัยค้นหาส่วนระดับประโยคจากบันทึกการบรรยายและส่งกลับหน้ารอบๆ ดังนั้นคำตอบเกี่ยวกับสูตรยังรวมถึงเงื่อนไขที่ต้องใช้ด้วย

ผู้ช่วยการเรียกร้องค่าสินไหมทดแทนจะดึงข้อมูลที่ตรงกันเล็กๆ น้อยๆ หลายรายการจากเอกสารกรมธรรม์ฉบับเดียว จัดกลุ่มตามหลัก และส่งส่วนกรมธรรม์นั้นหนึ่งครั้งแทนที่จะเป็นห้าส่วนที่ทับซ้อนกัน

อนาคตของเอกสารหลักและการสืบค้นข้อมูลจากน้อยไปมาก

จากเล็กไปใหญ่กำลังกลายเป็นค่าเริ่มต้นแทนที่จะเป็นกลอุบาย และเฟรมเวิร์กหลักได้เปิดเผยการดึงข้อมูลแบบลำดับชั้นหรือแบบหน้าต่างเป็นตัวเลือกการกำหนดค่าแล้ว หน้าต่างบริบทที่ใหญ่ขึ้นจะลดโทษในการส่งผู้ปกครองที่ใหญ่กว่า ซึ่งทำให้รูปแบบการนำไปใช้ถูกลง คำถามปลายเปิดยังคงเกี่ยวกับการเลือกขอบเขตหลักโดยอัตโนมัติ เช่น การใช้การวิเคราะห์เค้าโครงเอกสาร หรือการแบ่งส่วนแบบเรียนรู้แทนการอาศัยส่วนหัว โดยจะมีการรวมเข้ากับการจัดอันดับใหม่มากขึ้นเรื่อยๆ และด้วยวิธีการฝังตามบริบทที่พยายามทำให้กลุ่มเล็กๆ ตระหนักถึงสภาพแวดล้อมของตนในขณะจัดทำดัชนี การทดสอบในเอกสารของคุณเอง แทนที่จะใช้การวัดประสิทธิภาพทั่วไป ยังคงเป็นวิธีที่เชื่อถือได้ในการเลือกขนาดเด็กและผู้ปกครอง

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Parent Document and Small-to-Big Retrieval quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

เอกสารหลักและการดึงข้อมูลจากน้อยไปใหญ่คืออะไร?

การเรียกค้นเอกสารหลัก หรือที่เรียกว่าการเรียกค้นจากขนาดเล็กไปใหญ่ การค้นหาบนส่วนข้อความขนาดเล็กและแม่นยำ แต่ส่งแบบจำลองภาษาของส่วนหรือเอกสารที่ใหญ่กว่าแต่ละส่วนมา สิ่งสำคัญคือเนื่องจากจะขจัดข้อดีข้อเสียของการแบ่งส่วนตามปกติ: ส่วนเล็กๆ จะจับคู่คำค้นหาได้อย่างถูกต้อง และส่วนหลักที่ใหญ่กว่าจะให้บริบทแก่โมเดลเพียงพอที่จะตอบได้อย่างถูกต้อง

ข้อเสียหลักประการใดในการเรียกค้นที่อยู่จากขนาดเล็กไปใหญ่?

ชิ้นเล็กๆ ให้การฝังที่เน้นแต่บริบทน้อยเกินไป ชิ้นใหญ่ให้บริบทแต่การฝังไม่ชัดเจน ค้นหาจากเล็กไปใหญ่จากเล็ก ๆ และให้ผลตอบแทนมากเพื่อให้ได้ทั้งสองอย่าง

ในระบบขนาดเล็กถึงขนาดใหญ่ สิ่งที่ถูกฝังและค้นหาในเวลาสืบค้น?

เด็กจะได้รับการจัดทำดัชนีเพื่อการจับคู่ที่แม่นยำ ผู้ปกครองจะได้รับการดูแลหลังจากการแข่งขันของเด็กเท่านั้น

ถ้าสามชิ้นย่อยที่ดึงข้อมูลทั้งหมดอยู่ในส่วนหลักเดียวกัน ระบบควรทำอย่างไร?

การจัดกลุ่มตามพาเรนต์หมายความว่าส่วนนี้จะถูกรวมไว้ครั้งเดียว ซึ่งจะบันทึกโทเค็นและลบส่วนที่ซ้ำกันออก

ParentDocumentRetriever ของ LangChain เก็บข้อความสองระดับได้อย่างไร

เด็กๆ จะถูกฝังอยู่ในร้านเวกเตอร์เพื่อค้นหา ในขณะที่ผู้ปกครองเต็มตัวนั่งอยู่ในร้านเอกสารและจะถูกดึงข้อมูลด้วยบัตรประจำตัว

การเรียกค้นหน้าต่างประโยคส่งคืนอะไร

การดึงข้อมูลหน้าต่างประโยคจะตรงกันในระดับประโยค จากนั้นจะขยายเป็นหน้าต่างของประโยคโดยรอบเพื่อให้บริบท

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →