ต่อไปคำแนะนำต่อไป
เมตริกการดึงข้อมูล: Recall@K, MRR และ nDCG
เทคนิค
คู่มือทางเทคนิค
การเรียกค้นเอกสารหลัก หรือที่เรียกว่าการเรียกค้นจากขนาดเล็กไปใหญ่ การค้นหาบนส่วนข้อความขนาดเล็กและแม่นยำ แต่ส่งแบบจำลองภาษาของส่วนหรือเอกสารที่ใหญ่กว่าแต่ละส่วนมา
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
สิ่งสำคัญคือเนื่องจากจะขจัดข้อดีข้อเสียของการแบ่งส่วนตามปกติ: ส่วนเล็กๆ จะจับคู่คำค้นหาได้อย่างถูกต้อง และส่วนหลักที่ใหญ่กว่าจะให้บริบทแก่โมเดลเพียงพอที่จะตอบได้อย่างถูกต้อง
การตัดชิ้นขนาดคงที่จะทำให้ต้องเสียการแลกเปลี่ยน ชิ้นส่วนเล็กๆ เพียงไม่กี่ประโยค ทำให้เกิดการฝังที่คมชัด เวกเตอร์แสดงถึงแนวคิดเดียว ดังนั้นข้อความค้นหาเกี่ยวกับแนวคิดนั้นจึงตรงกับแนวคิดนั้นอย่างใกล้ชิด แต่ท่อนสองประโยคไม่ค่อยมีบริบทเพียงพอสำหรับแบบจำลองที่จะตอบได้ดี อาจละเว้นคำจำกัดความสามย่อหน้าก่อนหน้าหรือข้อยกเว้นในประโยคถัดไป ชิ้นใหญ่มีบริบทนั้น แต่การฝังของพวกมันทำให้ความคิดหลายอย่างพร่ามัวด้วยกัน ดังนั้นการดึงข้อมูลจึงมีความแม่นยำน้อยลง และข้อความที่เกี่ยวข้องสามารถได้รับคะแนนเหนือกว่าชิ้นที่เป็นเพียงหัวข้อเท่านั้น การดึงข้อมูลจากน้อยไปหามากจะแยกงานทั้งสองออกจากกัน ระบบจะจัดทำดัชนีชิ้นส่วนย่อยสำหรับการค้นหา และเด็กแต่ละคนจะเก็บตัวชี้ไปยังพาเรนต์ที่มีขนาดใหญ่กว่า: ส่วน หน้า หรือเอกสารทั้งหมด เมื่อถึงเวลาสืบค้น ระบบจะค้นหาเด็กที่ดีที่สุด จากนั้นค้นหาและส่งคืนพ่อแม่ของพวกเขา หากมีบุตรหลานหลายคนแชร์ผู้ปกครองเพียงคนเดียว ผู้ปกครองจะถูกส่งเพียงครั้งเดียว ซึ่งจะลบรายการที่ซ้ำกันออกด้วย ParentDocumentRetriever ของ LangChain ปรับใช้สิ่งนี้กับที่เก็บเวกเตอร์สำหรับเด็กและที่เก็บเอกสารแยกต่างหากสำหรับผู้ปกครอง LlamaIndex นำเสนอรูปแบบที่เกี่ยวข้อง: การเรียกค้นหน้าต่างประโยค ซึ่งส่งคืนประโยคที่ตรงกันบวกด้วยจำนวนประโยคใกล้เคียงคงที่ และการเรียกค้นแบบรวมอัตโนมัติ ซึ่งจะแทนที่ leaf chunks ที่ดึงข้อมูลจำนวนมากด้วยโหนดพาเรนต์ที่ใช้ร่วมกันเมื่อมีจำนวนตรงกันเพียงพอ แนวทางนี้มีแนวโน้มที่จะเอาชนะการจัดทำเอกสารที่มีโครงสร้างเป็นชิ้นขนาดคงที่ เช่น คู่มือ สัญญา นโยบาย และตำราเรียน โดยความหมายจะขึ้นอยู่กับส่วนโดยรอบ ช่วยน้อยลงเมื่อเอกสารมีน้อยอยู่แล้ว หรือเมื่อผู้ปกครองมีขนาดใหญ่จนบางเอกสารล้นหน้าต่างบริบทหรือฝังคำตอบไว้ในข้อความที่ไม่เกี่ยวข้อง ความเข้าใจผิดที่พบบ่อยคือนี่เป็นเพียงการใช้ชิ้นที่ใหญ่กว่าเท่านั้น ไม่ใช่: หน่วยดึงข้อมูลและหน่วยสร้างมีขนาดแตกต่างกันโดยเจตนา ดังนั้น คุณจึงจับคู่ได้อย่างแม่นยำโดยไม่ทำให้โมเดลบริบทเสียหาย
บอทช่วยเหลือด้าน IT ภายในจะจัดทำดัชนีแต่ละขั้นตอนการแก้ไขปัญหาเป็นส่วนย่อยที่แยกจากกัน แต่เมื่อขั้นตอนตรงกันก็จะส่งคืนขั้นตอนทั้งหมด ดังนั้นโมเดลจะไม่บอกผู้ใช้ให้ทำขั้นตอนที่ 4 โดยไม่มีขั้นตอนที่ 1 ถึง 3
เครื่องมือวิจัยทางกฎหมายจะจับคู่ประโยคเดียวเกี่ยวกับระยะเวลาแจ้งการยุติ จากนั้นจึงส่งแบบจำลองในส่วนสัญญาฉบับสมบูรณ์ รวมถึงคำจำกัดความและข้อยกเว้นที่เปลี่ยนแปลงความหมายของข้อกำหนดดังกล่าว
ผู้ช่วยหลักสูตรของมหาวิทยาลัยค้นหาส่วนระดับประโยคจากบันทึกการบรรยายและส่งกลับหน้ารอบๆ ดังนั้นคำตอบเกี่ยวกับสูตรยังรวมถึงเงื่อนไขที่ต้องใช้ด้วย
ผู้ช่วยการเรียกร้องค่าสินไหมทดแทนจะดึงข้อมูลที่ตรงกันเล็กๆ น้อยๆ หลายรายการจากเอกสารกรมธรรม์ฉบับเดียว จัดกลุ่มตามหลัก และส่งส่วนกรมธรรม์นั้นหนึ่งครั้งแทนที่จะเป็นห้าส่วนที่ทับซ้อนกัน
จากเล็กไปใหญ่กำลังกลายเป็นค่าเริ่มต้นแทนที่จะเป็นกลอุบาย และเฟรมเวิร์กหลักได้เปิดเผยการดึงข้อมูลแบบลำดับชั้นหรือแบบหน้าต่างเป็นตัวเลือกการกำหนดค่าแล้ว หน้าต่างบริบทที่ใหญ่ขึ้นจะลดโทษในการส่งผู้ปกครองที่ใหญ่กว่า ซึ่งทำให้รูปแบบการนำไปใช้ถูกลง คำถามปลายเปิดยังคงเกี่ยวกับการเลือกขอบเขตหลักโดยอัตโนมัติ เช่น การใช้การวิเคราะห์เค้าโครงเอกสาร หรือการแบ่งส่วนแบบเรียนรู้แทนการอาศัยส่วนหัว โดยจะมีการรวมเข้ากับการจัดอันดับใหม่มากขึ้นเรื่อยๆ และด้วยวิธีการฝังตามบริบทที่พยายามทำให้กลุ่มเล็กๆ ตระหนักถึงสภาพแวดล้อมของตนในขณะจัดทำดัชนี การทดสอบในเอกสารของคุณเอง แทนที่จะใช้การวัดประสิทธิภาพทั่วไป ยังคงเป็นวิธีที่เชื่อถือได้ในการเลือกขนาดเด็กและผู้ปกครอง
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
การเรียกค้นเอกสารหลัก หรือที่เรียกว่าการเรียกค้นจากขนาดเล็กไปใหญ่ การค้นหาบนส่วนข้อความขนาดเล็กและแม่นยำ แต่ส่งแบบจำลองภาษาของส่วนหรือเอกสารที่ใหญ่กว่าแต่ละส่วนมา สิ่งสำคัญคือเนื่องจากจะขจัดข้อดีข้อเสียของการแบ่งส่วนตามปกติ: ส่วนเล็กๆ จะจับคู่คำค้นหาได้อย่างถูกต้อง และส่วนหลักที่ใหญ่กว่าจะให้บริบทแก่โมเดลเพียงพอที่จะตอบได้อย่างถูกต้อง
ชิ้นเล็กๆ ให้การฝังที่เน้นแต่บริบทน้อยเกินไป ชิ้นใหญ่ให้บริบทแต่การฝังไม่ชัดเจน ค้นหาจากเล็กไปใหญ่จากเล็ก ๆ และให้ผลตอบแทนมากเพื่อให้ได้ทั้งสองอย่าง
เด็กจะได้รับการจัดทำดัชนีเพื่อการจับคู่ที่แม่นยำ ผู้ปกครองจะได้รับการดูแลหลังจากการแข่งขันของเด็กเท่านั้น
การจัดกลุ่มตามพาเรนต์หมายความว่าส่วนนี้จะถูกรวมไว้ครั้งเดียว ซึ่งจะบันทึกโทเค็นและลบส่วนที่ซ้ำกันออก
เด็กๆ จะถูกฝังอยู่ในร้านเวกเตอร์เพื่อค้นหา ในขณะที่ผู้ปกครองเต็มตัวนั่งอยู่ในร้านเอกสารและจะถูกดึงข้อมูลด้วยบัตรประจำตัว
การดึงข้อมูลหน้าต่างประโยคจะตรงกันในระดับประโยค จากนั้นจะขยายเป็นหน้าต่างของประโยคโดยรอบเพื่อให้บริบท
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
เมตริกการดึงข้อมูล: Recall@K, MRR และ nDCG
เทคนิค