การเขียนแบบสอบถามใหม่และการดึงข้อมูลหลายแบบสอบถาม

คุณภาพการดึงข้อมูลขึ้นอยู่กับการสืบค้นเป็นอย่างมาก ผู้ใช้เขียนคำถามสั้นๆ คลุมเครือ หรือเป็นการสนทนา ในขณะที่เอกสารใช้คำศัพท์ของตนเอง การแปลงข้อความค้นหาจะปิดช่องว่างนั้นก่อนที่การค้นหาจะเกิดขึ้น รูปแบบที่ง่ายที่สุดคือการเขียนใหม่: LLM จะเปลี่ยนข้อความของผู้ใช้ให้เป็นคำค้นหาที่ชัดเจนยิ่งขึ้น นี่เป็นสิ่งสำคัญในการแชทแบบหลายรอบ โดยที่การติดตามผลเช่น "และในปี 2023?" ไม่มีความหมายอะไรหากไม่มีประวัติ ดังนั้นระบบจึงย่อการสนทนาให้เป็นแบบสอบถามแบบสแตนด์อโลน การแบ่งแยกจะแยกคำถามที่ซับซ้อนออกเป็นคำถามย่อยที่สามารถดึงข้อมูลแยกกันได้ ซึ่งมีประโยชน์สำหรับการเปรียบเทียบหรือคำถามแบบมัลติฮอป Step-back prompting ซึ่งอธิบายโดยนักวิจัย Google DeepMind ในปี 2023 ถามคำถามทั่วไปก่อนเพื่อดึงหลักการเบื้องหลัง การดึงข้อความค้นหาหลายรายการจะสร้างคำถามหลายรูปแบบ ทำการค้นหาแต่ละข้อ และรวมผลลัพธ์เข้าด้วยกัน LangChain ทำให้สิ่งนี้เป็นที่นิยมด้วย MultiQueryRetriever RAG-Fusion รวมการสืบค้นหลายรายการเข้ากับ Reciprocal rank fusion (RRF) ซึ่งเป็นวิธีการอธิบายโดย Cormack, Clarke และ Buettcher ในปี 2009 ซึ่งให้คะแนนแต่ละเอกสารโดยการรวม 1/(k + rank) ในรายการผลลัพธ์ เอกสารที่ปรากฏสูงในหลายรายการจะขึ้นไปอยู่ด้านบนสุดโดยไม่ต้องใช้คะแนนดิบที่เทียบเคียงได้ เทคนิคที่เกี่ยวข้อง HyDE (Hypothetical Document Embeddings, Gao และเพื่อนร่วมงาน, 2022) ให้แบบจำลองเขียนคำตอบสมมุติและฝังคำตอบนั้นแทนคำถาม เนื่องจากข้อความที่มีรูปทรงคำตอบมักจะอยู่ใกล้กับข้อความคำตอบจริงในพื้นที่ฝัง ความเข้าใจผิด: การค้นหาเพิ่มเติมไม่ได้ดีกว่าเสมอไป แต่ละรูปแบบจะเพิ่มเวลาแฝงและต้นทุน และรูปแบบที่สร้างขึ้นไม่ดีอาจเบี่ยงเบนไปจากจุดประสงค์ของผู้ใช้ โดยดึงเอกสารที่ไม่เกี่ยวข้องเข้ามา การเขียนใหม่ยังสามารถลดข้อจำกัดที่สำคัญ เช่น วันที่หรือชื่อผลิตภัณฑ์ วัดคุณภาพการเรียกคืนและตอบคำถามจริงก่อนดำเนินการตามขั้นตอนเหล่านี้