การปรับแต่งโมเดลการฝังอย่างละเอียดเพื่อการดึงข้อมูล

โมเดลการฝังจะเปลี่ยนข้อความให้เป็นเวกเตอร์ เพื่อให้ข้อความที่คล้ายคลึงกันทางความหมายมีเวกเตอร์ที่คล้ายกัน ซึ่งมักจะวัดจากความคล้ายคลึงของโคไซน์ ใน RAG ทั้งข้อความค้นหาและชิ้นเอกสารจะถูกฝังไว้ และชิ้นที่ใกล้ที่สุดจะถูกดึงออกมา โมเดลทั่วไปได้รับการฝึกบนเว็บแบบกว้างและข้อมูลคำถาม-คำตอบ พวกเขาทำงานได้ดีพอสมควรในทุกที่ แต่อาจประสบปัญหากับคำศัพท์เฉพาะ ชื่อผลิตภัณฑ์ภายใน และช่องว่างระหว่างวิธีที่ผู้ใช้ถามและวิธีการเขียนเอกสาร การปรับแต่งอย่างละเอียดจะปิดช่องว่างนั้นด้วยข้อมูลการฝึกอบรมในสามรูปแบบ คู่ที่เป็นบวกคือคำถามและข้อความที่ตอบ เชิงลบในชุดใช้ข้อความอื่นๆ ในชุดการฝึกอบรมเดียวกันเป็นตัวอย่างของสิ่งที่ควรได้คะแนนต่ำกว่า ข้อความเชิงลบที่ชัดเจนคือข้อความที่ดูเกี่ยวข้อง แบ่งปันคำหรือหัวข้อ แต่ไม่ตอบคำถาม ฟิล์มเนกาทีฟแบบฮาร์ดสอนให้แยกแยะอย่างละเอียดซึ่งมีความสำคัญมากที่สุด เนื่องจากฟิล์มเนกาทีฟแบบง่ายถูกแยกออกจากโมเดลพื้นฐานแล้ว แหล่งข้อมูลที่ดีได้แก่ บันทึกการค้นหาที่มีการคลิก ตั๋วสนับสนุนที่เชื่อมโยงกับบทความ หน้าคำถามที่พบบ่อย และคำค้นหาสังเคราะห์ที่สร้างจากเอกสารของคุณตามโมเดลภาษา ข้อมูลสังเคราะห์มีประโยชน์แต่ควรกรองออก เนื่องจากคำถามที่สร้างขึ้นมักจะคัดลอกถ้อยคำของเอกสารและทำให้งานง่ายเกินไป ความเข้าใจผิดที่พบบ่อยคือการปรับแต่งอย่างละเอียดเป็นวิธีแก้ปัญหาแรกสำหรับการดึงข้อมูลที่ไม่ดี มักจะแบ่งเป็นส่วนๆ ดีกว่า การเพิ่มการค้นหาคำหลัก เช่น BM25 ในการตั้งค่าแบบผสม หรือการเพิ่มการจัดอันดับใหม่จะช่วยให้ได้กำไรมากขึ้นโดยใช้ความพยายามน้อยลง การปรับแต่งอย่างละเอียดจะคุ้มค่าที่สุดเมื่อคุณวัดช่องว่างในการดึงข้อมูลและมีหรือสามารถสร้างคู่คุณภาพได้อย่างน้อยสองสามพันคู่ ข้อผิดพลาดอีกประการหนึ่งคือผลลบลวง: ผลลบเชิงลบที่ขุดขึ้นมาซึ่งตอบคำถามได้จริง การฝึกโมเดลเพื่อผลักดันคุณภาพความเสียหายออกไป โปรดทราบว่าการเปลี่ยนแปลงโมเดลการฝังจำเป็นต้องฝังคอลเลกชันเอกสารทั้งหมดอีกครั้ง เนื่องจากเวกเตอร์เก่าและใหม่ไม่สามารถเทียบเคียงได้