คู่มือทางเทคนิค

การเขียนแบบสอบถามใหม่และการดึงข้อมูลหลายแบบสอบถาม

การเขียนคำค้นหาใหม่และการเรียกคำค้นหาหลายคำเป็นเทคนิค RAG ที่แปลงคำถามของผู้ใช้ก่อนทำการค้นหา โดยเรียบเรียงคำถามใหม่ แบ่งคำถามออกเป็นคำถามย่อย หรือสร้างตัวแปรหลายรูปแบบแล้วรวมผลลัพธ์เข้าด้วยกัน

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 3 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการเขียนแบบสอบถามใหม่และการเรียกค้นข้อมูลแบบหลายแบบสอบถาม
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

สิ่งเหล่านี้มีความสำคัญเนื่องจากผู้ใช้มักจะถามคำถามที่คลุมเครือ เป็นการสนทนาหรือมีหลายส่วนซึ่งมีถ้อยคำไม่ตรงกับเอกสาร และการค้นหาที่ดีกว่าสามารถแสดงข้อความที่เกี่ยวข้องซึ่งการค้นหาตามตัวอักษรเพียงครั้งเดียวอาจพลาดไป

เจาะลึก

คุณภาพการดึงข้อมูลขึ้นอยู่กับการสืบค้นเป็นอย่างมาก ผู้ใช้เขียนคำถามสั้นๆ คลุมเครือ หรือเป็นการสนทนา ในขณะที่เอกสารใช้คำศัพท์ของตนเอง การแปลงข้อความค้นหาจะปิดช่องว่างนั้นก่อนที่การค้นหาจะเกิดขึ้น รูปแบบที่ง่ายที่สุดคือการเขียนใหม่: LLM จะเปลี่ยนข้อความของผู้ใช้ให้เป็นคำค้นหาที่ชัดเจนยิ่งขึ้น นี่เป็นสิ่งสำคัญในการแชทแบบหลายรอบ โดยที่การติดตามผลเช่น "และในปี 2023?" ไม่มีความหมายอะไรหากไม่มีประวัติ ดังนั้นระบบจึงย่อการสนทนาให้เป็นแบบสอบถามแบบสแตนด์อโลน การแบ่งแยกจะแยกคำถามที่ซับซ้อนออกเป็นคำถามย่อยที่สามารถดึงข้อมูลแยกกันได้ ซึ่งมีประโยชน์สำหรับการเปรียบเทียบหรือคำถามแบบมัลติฮอป Step-back prompting ซึ่งอธิบายโดยนักวิจัย Google DeepMind ในปี 2023 ถามคำถามทั่วไปก่อนเพื่อดึงหลักการเบื้องหลัง การดึงข้อความค้นหาหลายรายการจะสร้างคำถามหลายรูปแบบ ทำการค้นหาแต่ละข้อ และรวมผลลัพธ์เข้าด้วยกัน LangChain ทำให้สิ่งนี้เป็นที่นิยมด้วย MultiQueryRetriever RAG-Fusion รวมการสืบค้นหลายรายการเข้ากับ Reciprocal rank fusion (RRF) ซึ่งเป็นวิธีการอธิบายโดย Cormack, Clarke และ Buettcher ในปี 2009 ซึ่งให้คะแนนแต่ละเอกสารโดยการรวม 1/(k + rank) ในรายการผลลัพธ์ เอกสารที่ปรากฏสูงในหลายรายการจะขึ้นไปอยู่ด้านบนสุดโดยไม่ต้องใช้คะแนนดิบที่เทียบเคียงได้ เทคนิคที่เกี่ยวข้อง HyDE (Hypothetical Document Embeddings, Gao และเพื่อนร่วมงาน, 2022) ให้แบบจำลองเขียนคำตอบสมมุติและฝังคำตอบนั้นแทนคำถาม เนื่องจากข้อความที่มีรูปทรงคำตอบมักจะอยู่ใกล้กับข้อความคำตอบจริงในพื้นที่ฝัง ความเข้าใจผิด: การค้นหาเพิ่มเติมไม่ได้ดีกว่าเสมอไป แต่ละรูปแบบจะเพิ่มเวลาแฝงและต้นทุน และรูปแบบที่สร้างขึ้นไม่ดีอาจเบี่ยงเบนไปจากจุดประสงค์ของผู้ใช้ โดยดึงเอกสารที่ไม่เกี่ยวข้องเข้ามา การเขียนใหม่ยังสามารถลดข้อจำกัดที่สำคัญ เช่น วันที่หรือชื่อผลิตภัณฑ์ วัดคุณภาพการเรียกคืนและตอบคำถามจริงก่อนดำเนินการตามขั้นตอนเหล่านี้

การใช้งานจริงในโลกแห่งความเป็นจริง

ในผู้ช่วยแชท การติดตามผล "แล้วพนักงานพาร์ทไทม์ล่ะ?" ถูกเขียนใหม่เป็นการสืบค้นแบบสแตนด์อโลน เช่น "นโยบายการลาเพื่อเลี้ยงดูบุตรสำหรับพนักงานพาร์ทไทม์" โดยใช้การสนทนาก่อนหน้านี้

คำถามที่เปรียบเทียบราคาของผู้ให้บริการคลาวด์สองรายจะถูกแยกย่อยเป็นการค้นหาแยกกันสำหรับผู้ให้บริการแต่ละราย และผลลัพธ์จะรวมกันก่อนที่จะตอบ

บอทสนับสนุนสร้างวลีสี่ประโยคว่า "แอปของฉันออกจากระบบตลอดเวลา" รวมถึงคำศัพท์ทางเทคนิค เช่น การหมดอายุของเซสชันและการรีเฟรชโทเค็น และหลอมรวมผลลัพธ์ด้วยการรวมอันดับซึ่งกันและกัน

ผู้ช่วยวิจัยใช้การเตือนแบบย้อนกลับเพื่อค้นหาหลักการทั่วไปเบื้องหลังคำถามแคบๆ ก่อน จากนั้นจึงดึงรายละเอียดเฉพาะเจาะจง โดยให้แบบจำลองทั้งภูมิหลังและข้อมูลเฉพาะ

อนาคตของการเขียนแบบสอบถามใหม่และการเรียกค้นข้อมูลแบบหลายแบบสอบถาม

เมื่อ RAG แบบเอเจนต์แพร่กระจายไป การแปลงคิวรีจะได้รับการจัดการมากขึ้นโดยโมเดลที่ตัดสินใจว่าจะค้นหาอะไร และวนซ้ำเมื่อผลลัพธ์ดูอ่อนแอ แทนที่จะใช้ขั้นตอนการเขียนใหม่แบบตายตัว นั่นทำให้แนวคิดเบื้องหลัง การสลายตัว การแปรผัน และการหลอมรวม มีความสำคัญมากขึ้น แม้ว่าจะมองเห็นได้น้อยลงก็ตาม การปรับปรุงโมเดลการฝังและการค้นหาแบบไฮบริดช่วยลดความไม่ตรงกันของคำศัพท์บางอย่าง แต่ไม่ได้ขจัดความจำเป็นในการชี้แจงคำถามที่คลุมเครือหรือการสนทนา คาดหวังให้ทีมต่างๆ ใช้เทคนิคเหล่านี้อย่างเฉพาะเจาะจง ซึ่งจะเกิดขึ้นเมื่อการสืบค้นดูซับซ้อนหรือการดึงข้อมูลครั้งแรกมีสัญญาณอ่อน เพื่อสร้างสมดุลระหว่างคุณภาพกับต้นทุน

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Query Rewriting and Multi-Query Retrieval quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การเขียนแบบสอบถามใหม่และการดึงข้อมูลหลายแบบสอบถามคืออะไร

การเขียนคำค้นหาใหม่และการเรียกคำค้นหาหลายคำเป็นเทคนิค RAG ที่แปลงคำถามของผู้ใช้ก่อนทำการค้นหา โดยเรียบเรียงคำถามใหม่ แบ่งคำถามออกเป็นคำถามย่อย หรือสร้างตัวแปรหลายรูปแบบแล้วรวมผลลัพธ์เข้าด้วยกัน สิ่งเหล่านี้มีความสำคัญเนื่องจากผู้ใช้มักจะถามคำถามที่คลุมเครือ เป็นการสนทนาหรือมีหลายส่วนซึ่งมีถ้อยคำไม่ตรงกับเอกสาร และการค้นหาที่ดีกว่าสามารถแสดงข้อความที่เกี่ยวข้องซึ่งการค้นหาตามตัวอักษรเพียงครั้งเดียวอาจพลาดไป

เหตุใดการเขียนคำค้นหาใหม่จึงมีความสำคัญเป็นพิเศษในการแชทแบบหลายรอบ

การติดตามผลเช่น "และในปี 2023?" ต้องการประวัติการสนทนาเพื่อเป็นแบบสอบถามแบบสแตนด์อโลนที่เป็นประโยชน์

เทคนิคใดแบ่งคำถามเปรียบเทียบออกเป็นการค้นหาแยกกันสำหรับแต่ละรายการที่จะเปรียบเทียบ

การแบ่งแยกจะแบ่งคำถามที่ซับซ้อนหรือหลายส่วนออกเป็นคำถามย่อยที่ดึงข้อมูลแยกกัน

Step-back prompting ทำหน้าที่อะไร?

Step-back prompting จากนักวิจัย Google DeepMind จะดึงข้อมูลพื้นหลังทั่วไปก่อนข้อมูลเฉพาะ

ในการรวมอันดับซึ่งกันและกัน คะแนนของเอกสารคำนวณอย่างไร

RRF ผลรวม 1/(k + อันดับ) เหนือแต่ละรายการที่มีเอกสาร ซึ่งให้รางวัลเอกสารที่มีอันดับสูงในหลายรายการ

เหตุใด RRF จึงสะดวกในการรวมการค้นหาเวกเตอร์และผลลัพธ์ BM25

เนื่องจาก RRF ใช้เฉพาะตำแหน่งอันดับ จึงสามารถรวมรายการที่มีคะแนนดิบที่ไม่สามารถเทียบเคียงได้

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →