คู่มือ AI ภาษา
บริบทแบบยาวเทียบกับ RAG
บริบทที่ยาวหมายถึงการวางเอกสารทั้งหมดลงในหน้าต่างบริบทขนาดใหญ่ของแบบจำลองโดยตรง ในขณะที่ RAG จะดึงเฉพาะข้อความที่เกี่ยวข้องมากที่สุดสำหรับคำถามแต่ละข้อ
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
บนหน้านี้อ่าน 4 นาที
ภาพรวม
บริบทที่ยาวมักจะง่ายกว่าและดีกว่าเมื่อความรู้เหมาะสมกับหน้าต่าง และคำถามจำเป็นต้องมีมุมมองทั้งเอกสาร RAG มักจะชนะในด้านต้นทุนต่อการสืบค้น เวลาแฝง ความใหม่ ขนาด และการควบคุมการเข้าถึง ระบบที่แข็งแกร่งส่วนใหญ่จะรวมทั้งสองเข้าด้วยกันแทนที่จะเลือกอย่างใดอย่างหนึ่ง
เจาะลึก
หน้าต่างบริบทเพิ่มขึ้นจากโทเค็นไม่กี่พันในโมเดลการแชทในช่วงต้นเป็นหลายแสน และ Google 1.5 Pro ของ Gemini 1.5 Pro ที่ประกาศในปี 2024 เสนอหน้าต่างหนึ่งล้านโทเค็น นั่นทำให้เกิดคำถามที่ชัดเจน: หากแบบจำลองสามารถอ่านคู่มือทั้งหมดได้ ทำไมจึงต้องสร้างไปป์ไลน์การดึงข้อมูลเลย คำตอบขึ้นอยู่กับการแลกเปลี่ยนสี่ประการ ค่าใช้จ่าย: ผู้ให้บริการเรียกเก็บเงินต่อโทเค็นอินพุต ดังนั้นการส่งโทเค็นนับแสนกับทุกคำถามจะมีค่าใช้จ่ายมากกว่าการส่งโทเค็นที่เกี่ยวข้องสองสามพันรายการ แม้ว่าการแคชทันทีจะลดราคาของคำนำหน้าซ้ำก็ตาม เวลาแฝง: โมเดลจะต้องประมวลผลโทเค็นอินพุตทุกรายการก่อนตอบ ดังนั้นเวลาในการเข้าถึงโทเค็นแรกจะเพิ่มขึ้นตามความยาวของบริบท ความถูกต้อง: บริบทที่ยาวช่วยหลีกเลี่ยงการเรียกข้อมูลพลาด เนื่องจากไม่มีการกรองสิ่งใดออก และจะจัดการกับคำถามที่ต้องใช้ทั้งเอกสาร เช่น การสรุปธีมหรือการเปรียบเทียบบทต่างๆ แต่โมเดลไม่ได้ใช้ทุกตำแหน่งเท่ากัน การศึกษา Lost in the Middle ในปี 2023 พบว่าประสิทธิภาพลดลงเมื่อมีข้อมูลที่เกี่ยวข้องอยู่ระหว่างอินพุตยาวๆ และการทดสอบแบบเข็มในกองหญ้าจะวัดเฉพาะการค้นหาแบบง่ายๆ เท่านั้น โดยไม่ได้ให้เหตุผลกับข้อเท็จจริงที่กระจัดกระจายมากมาย ความสดใหม่และขนาด: สามารถอัปเดตดัชนี RAG แบบค่อยเป็นค่อยไป ครอบคลุมเอกสารได้มากกว่าหน้าต่างใดๆ และสนับสนุนการควบคุมการเข้าถึงต่อผู้ใช้โดยการกรองสิ่งที่ดึงมา กฎการปฏิบัติ: หากความรู้เข้ากันได้ดีกับหน้าต่าง มีการสอบถามซ้ำๆ และคำถามจำเป็นต้องมีความเข้าใจในวงกว้าง บริบทที่ยาวมักจะง่ายกว่าและดีกว่า หากคลังข้อมูลมีขนาดใหญ่ เปลี่ยนแปลงบ่อย มีสิทธิ์ หรือต้องตอบแบบประหยัดพร้อมการอ้างอิง ให้ดึงข้อมูลกลับมา ความเข้าใจผิดที่พบบ่อยคือสิ่งหนึ่งเข้ามาแทนที่สิ่งอื่น ระบบที่แข็งแกร่งหลายระบบรวมเข้าด้วยกัน: ดึงข้อมูลในระดับเอกสารอย่างไม่อั้น จากนั้นใช้หน้าต่างยาวเพื่อรวมเอกสารทั้งหมด แทนที่จะเป็นส่วนเล็กๆ
การใช้งานจริงในโลกแห่งความเป็นจริง
ทนายความโหลดข้อตกลงการควบรวมกิจการความยาว 300 หน้าหนึ่งฉบับลงในแบบจำลองที่มีบริบทยาวเพื่อถามว่าเงื่อนไขการชดใช้ค่าเสียหายมีผลอย่างไรในแต่ละส่วน คำถามที่กระจัดกระจายส่วนที่ดึงมามาจะตอบได้ไม่ดี
แพลตฟอร์มการสนับสนุนลูกค้าที่มีบทความช่วยเหลือหลายล้านบทที่เปลี่ยนแปลงทุกวันใช้ RAG เนื่องจากไม่มีหน้าต่างบริบทที่เก็บคลังข้อมูล และสามารถอัปเดตดัชนีได้ทีละบทความ
แชทบอทของบริษัทที่ให้บริการพนักงานที่มีระดับการกวาดล้างต่างกันจะใช้การดึงข้อมูลพร้อมตัวกรองสิทธิ์ ดังนั้นการแจ้งเตือนของผู้ใช้แต่ละคนจึงมีเพียงเอกสารที่พวกเขาได้รับอนุญาตให้ดูเท่านั้น
ทีมวิจัยดึงเอกสารที่เกี่ยวข้องมากที่สุด 10 ชิ้น จากนั้นส่งรายงานฉบับเต็มแต่ละฉบับไปยังหน้าต่างบริบทที่ยาว แทนที่จะแยกเป็นชิ้นเล็กๆ โดยรวมทั้งสองวิธีเข้าด้วยกัน
อนาคตของบริบทแบบยาวเทียบกับ RAG
หน้าต่างที่ใหญ่ขึ้นและส่วนลดแคชจะย้ายจุดคุ้มทุนไปสู่บริบทที่ยาวสำหรับองค์กรขนาดเล็กและขนาดกลาง การเรียกข้อมูลไม่น่าจะหายไป เนื่องจากองค์กรหลายแห่งเก็บข้อความไว้มากกว่าหน้าต่างใดๆ ข้อมูลจึงเปลี่ยนแปลงอยู่ตลอดเวลา และจำเป็นต้องได้รับสิทธิ์และการอ้างอิงต่อผู้ใช้ ทิศทางที่เป็นไปได้มากกว่าคือการผสมผสาน: เจ้าหน้าที่ที่ตัดสินใจว่าจะดึงข้อมูลเมื่อใด อ่านเอกสารทั้งหมดเมื่อพบ และแคชสิ่งที่พวกเขานำมาใช้ซ้ำ การวิจัยยังคงดำเนินต่อไปเกี่ยวกับการทำให้โมเดลใช้ตำแหน่งตรงกลางได้อย่างน่าเชื่อถือ และให้ความสำคัญกับอินพุตยาวที่ถูกกว่า เนื่องจากราคาและรุ่นมีการเปลี่ยนแปลงบ่อยครั้ง ทีมจึงควรดำเนินการเปรียบเทียบราคาและความแม่นยำของตนเองใหม่เป็นระยะ
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
- เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
ระวัง
- ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
- ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
- ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
ขั้นตอนต่อไป
- กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
- การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
- รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
- ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Long Context vs RAG quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
บริบทแบบยาวเทียบกับ RAG คืออะไร
บริบทที่ยาวหมายถึงการวางเอกสารทั้งหมดลงในหน้าต่างบริบทขนาดใหญ่ของแบบจำลองโดยตรง ในขณะที่ RAG จะดึงเฉพาะข้อความที่เกี่ยวข้องมากที่สุดสำหรับคำถามแต่ละข้อ บริบทที่ยาวมักจะง่ายกว่าและดีกว่าเมื่อความรู้เหมาะสมกับหน้าต่าง และคำถามจำเป็นต้องมีมุมมองทั้งเอกสาร RAG มักจะชนะในด้านต้นทุนต่อการสืบค้น เวลาแฝง ความใหม่ ขนาด และการควบคุมการเข้าถึง ระบบที่แข็งแกร่งส่วนใหญ่จะรวมทั้งสองเข้าด้วยกันแทนที่จะเลือกอย่างใดอย่างหนึ่ง
เหตุใดวิธีการแบบบริบทยาวจึงมักมีราคาต่อการค้นหามากกว่า RAG
ปรับขนาดต้นทุนด้วยโทเค็นอินพุต ดังนั้นการส่งคลังข้อมูลทั้งหมดในแต่ละครั้งจะมีค่าใช้จ่ายมากกว่าการส่งข้อความที่เกี่ยวข้องสองสามรายการ
การศึกษาเรื่อง Lost in the Middle ปี 2023 พบอะไร
โมเดลใช้ข้อมูลที่จุดเริ่มต้นและจุดสิ้นสุดของอินพุตแบบยาวมีความน่าเชื่อถือมากกว่าข้อมูลที่อยู่ตรงกลาง
ข้อจำกัดที่สำคัญของการทดสอบแบบเข็มในกองหญ้าคืออะไร?
การค้นหาข้อเท็จจริงที่ปลูกฝังไว้เพียงเรื่องเดียวนั้นง่ายกว่าการรวมข้อเท็จจริงหลายๆ อย่างที่เผยแพร่ผ่านเอกสาร
สถานการณ์ใดที่สนับสนุน RAG อย่างชัดเจนที่สุดในบริบทที่ยาว
RAG ขยายขนาดเกินหน้าต่างใดๆ อัปเดตแบบค่อยเป็นค่อยไป และสามารถกรองผลลัพธ์ตามสิทธิ์
เมื่อใช้การแคชพร้อมท์กับคลังข้อมูลที่ยาว ควรจัดเตรียมพร้อมต์อย่างไร
การแคชจะใช้คำนำหน้าที่เหมือนกันซ้ำ ดังนั้นเนื้อหาที่ไม่มีการเปลี่ยนแปลงจะต้องมาก่อน
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้