คู่มือ AI ภาษา

บริบทแบบยาวเทียบกับ RAG

บริบทที่ยาวหมายถึงการวางเอกสารทั้งหมดลงในหน้าต่างบริบทขนาดใหญ่ของแบบจำลองโดยตรง ในขณะที่ RAG จะดึงเฉพาะข้อความที่เกี่ยวข้องมากที่สุดสำหรับคำถามแต่ละข้อ

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของบริบทแบบยาวเทียบกับ RAG
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

บริบทที่ยาวมักจะง่ายกว่าและดีกว่าเมื่อความรู้เหมาะสมกับหน้าต่าง และคำถามจำเป็นต้องมีมุมมองทั้งเอกสาร RAG มักจะชนะในด้านต้นทุนต่อการสืบค้น เวลาแฝง ความใหม่ ขนาด และการควบคุมการเข้าถึง ระบบที่แข็งแกร่งส่วนใหญ่จะรวมทั้งสองเข้าด้วยกันแทนที่จะเลือกอย่างใดอย่างหนึ่ง

เจาะลึก

หน้าต่างบริบทเพิ่มขึ้นจากโทเค็นไม่กี่พันในโมเดลการแชทในช่วงต้นเป็นหลายแสน และ Google 1.5 Pro ของ Gemini 1.5 Pro ที่ประกาศในปี 2024 เสนอหน้าต่างหนึ่งล้านโทเค็น นั่นทำให้เกิดคำถามที่ชัดเจน: หากแบบจำลองสามารถอ่านคู่มือทั้งหมดได้ ทำไมจึงต้องสร้างไปป์ไลน์การดึงข้อมูลเลย คำตอบขึ้นอยู่กับการแลกเปลี่ยนสี่ประการ ค่าใช้จ่าย: ผู้ให้บริการเรียกเก็บเงินต่อโทเค็นอินพุต ดังนั้นการส่งโทเค็นนับแสนกับทุกคำถามจะมีค่าใช้จ่ายมากกว่าการส่งโทเค็นที่เกี่ยวข้องสองสามพันรายการ แม้ว่าการแคชทันทีจะลดราคาของคำนำหน้าซ้ำก็ตาม เวลาแฝง: โมเดลจะต้องประมวลผลโทเค็นอินพุตทุกรายการก่อนตอบ ดังนั้นเวลาในการเข้าถึงโทเค็นแรกจะเพิ่มขึ้นตามความยาวของบริบท ความถูกต้อง: บริบทที่ยาวช่วยหลีกเลี่ยงการเรียกข้อมูลพลาด เนื่องจากไม่มีการกรองสิ่งใดออก และจะจัดการกับคำถามที่ต้องใช้ทั้งเอกสาร เช่น การสรุปธีมหรือการเปรียบเทียบบทต่างๆ แต่โมเดลไม่ได้ใช้ทุกตำแหน่งเท่ากัน การศึกษา Lost in the Middle ในปี 2023 พบว่าประสิทธิภาพลดลงเมื่อมีข้อมูลที่เกี่ยวข้องอยู่ระหว่างอินพุตยาวๆ และการทดสอบแบบเข็มในกองหญ้าจะวัดเฉพาะการค้นหาแบบง่ายๆ เท่านั้น โดยไม่ได้ให้เหตุผลกับข้อเท็จจริงที่กระจัดกระจายมากมาย ความสดใหม่และขนาด: สามารถอัปเดตดัชนี RAG แบบค่อยเป็นค่อยไป ครอบคลุมเอกสารได้มากกว่าหน้าต่างใดๆ และสนับสนุนการควบคุมการเข้าถึงต่อผู้ใช้โดยการกรองสิ่งที่ดึงมา กฎการปฏิบัติ: หากความรู้เข้ากันได้ดีกับหน้าต่าง มีการสอบถามซ้ำๆ และคำถามจำเป็นต้องมีความเข้าใจในวงกว้าง บริบทที่ยาวมักจะง่ายกว่าและดีกว่า หากคลังข้อมูลมีขนาดใหญ่ เปลี่ยนแปลงบ่อย มีสิทธิ์ หรือต้องตอบแบบประหยัดพร้อมการอ้างอิง ให้ดึงข้อมูลกลับมา ความเข้าใจผิดที่พบบ่อยคือสิ่งหนึ่งเข้ามาแทนที่สิ่งอื่น ระบบที่แข็งแกร่งหลายระบบรวมเข้าด้วยกัน: ดึงข้อมูลในระดับเอกสารอย่างไม่อั้น จากนั้นใช้หน้าต่างยาวเพื่อรวมเอกสารทั้งหมด แทนที่จะเป็นส่วนเล็กๆ

การใช้งานจริงในโลกแห่งความเป็นจริง

ทนายความโหลดข้อตกลงการควบรวมกิจการความยาว 300 หน้าหนึ่งฉบับลงในแบบจำลองที่มีบริบทยาวเพื่อถามว่าเงื่อนไขการชดใช้ค่าเสียหายมีผลอย่างไรในแต่ละส่วน คำถามที่กระจัดกระจายส่วนที่ดึงมามาจะตอบได้ไม่ดี

แพลตฟอร์มการสนับสนุนลูกค้าที่มีบทความช่วยเหลือหลายล้านบทที่เปลี่ยนแปลงทุกวันใช้ RAG เนื่องจากไม่มีหน้าต่างบริบทที่เก็บคลังข้อมูล และสามารถอัปเดตดัชนีได้ทีละบทความ

แชทบอทของบริษัทที่ให้บริการพนักงานที่มีระดับการกวาดล้างต่างกันจะใช้การดึงข้อมูลพร้อมตัวกรองสิทธิ์ ดังนั้นการแจ้งเตือนของผู้ใช้แต่ละคนจึงมีเพียงเอกสารที่พวกเขาได้รับอนุญาตให้ดูเท่านั้น

ทีมวิจัยดึงเอกสารที่เกี่ยวข้องมากที่สุด 10 ชิ้น จากนั้นส่งรายงานฉบับเต็มแต่ละฉบับไปยังหน้าต่างบริบทที่ยาว แทนที่จะแยกเป็นชิ้นเล็กๆ โดยรวมทั้งสองวิธีเข้าด้วยกัน

อนาคตของบริบทแบบยาวเทียบกับ RAG

หน้าต่างที่ใหญ่ขึ้นและส่วนลดแคชจะย้ายจุดคุ้มทุนไปสู่บริบทที่ยาวสำหรับองค์กรขนาดเล็กและขนาดกลาง การเรียกข้อมูลไม่น่าจะหายไป เนื่องจากองค์กรหลายแห่งเก็บข้อความไว้มากกว่าหน้าต่างใดๆ ข้อมูลจึงเปลี่ยนแปลงอยู่ตลอดเวลา และจำเป็นต้องได้รับสิทธิ์และการอ้างอิงต่อผู้ใช้ ทิศทางที่เป็นไปได้มากกว่าคือการผสมผสาน: เจ้าหน้าที่ที่ตัดสินใจว่าจะดึงข้อมูลเมื่อใด อ่านเอกสารทั้งหมดเมื่อพบ และแคชสิ่งที่พวกเขานำมาใช้ซ้ำ การวิจัยยังคงดำเนินต่อไปเกี่ยวกับการทำให้โมเดลใช้ตำแหน่งตรงกลางได้อย่างน่าเชื่อถือ และให้ความสำคัญกับอินพุตยาวที่ถูกกว่า เนื่องจากราคาและรุ่นมีการเปลี่ยนแปลงบ่อยครั้ง ทีมจึงควรดำเนินการเปรียบเทียบราคาและความแม่นยำของตนเองใหม่เป็นระยะ

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
  • เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ

ระวัง

  • ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
  • ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
  • ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ

ขั้นตอนต่อไป

  1. กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
  2. การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
  3. รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
  4. ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Long Context vs RAG quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

บริบทแบบยาวเทียบกับ RAG คืออะไร

บริบทที่ยาวหมายถึงการวางเอกสารทั้งหมดลงในหน้าต่างบริบทขนาดใหญ่ของแบบจำลองโดยตรง ในขณะที่ RAG จะดึงเฉพาะข้อความที่เกี่ยวข้องมากที่สุดสำหรับคำถามแต่ละข้อ บริบทที่ยาวมักจะง่ายกว่าและดีกว่าเมื่อความรู้เหมาะสมกับหน้าต่าง และคำถามจำเป็นต้องมีมุมมองทั้งเอกสาร RAG มักจะชนะในด้านต้นทุนต่อการสืบค้น เวลาแฝง ความใหม่ ขนาด และการควบคุมการเข้าถึง ระบบที่แข็งแกร่งส่วนใหญ่จะรวมทั้งสองเข้าด้วยกันแทนที่จะเลือกอย่างใดอย่างหนึ่ง

เหตุใดวิธีการแบบบริบทยาวจึงมักมีราคาต่อการค้นหามากกว่า RAG

ปรับขนาดต้นทุนด้วยโทเค็นอินพุต ดังนั้นการส่งคลังข้อมูลทั้งหมดในแต่ละครั้งจะมีค่าใช้จ่ายมากกว่าการส่งข้อความที่เกี่ยวข้องสองสามรายการ

การศึกษาเรื่อง Lost in the Middle ปี 2023 พบอะไร

โมเดลใช้ข้อมูลที่จุดเริ่มต้นและจุดสิ้นสุดของอินพุตแบบยาวมีความน่าเชื่อถือมากกว่าข้อมูลที่อยู่ตรงกลาง

ข้อจำกัดที่สำคัญของการทดสอบแบบเข็มในกองหญ้าคืออะไร?

การค้นหาข้อเท็จจริงที่ปลูกฝังไว้เพียงเรื่องเดียวนั้นง่ายกว่าการรวมข้อเท็จจริงหลายๆ อย่างที่เผยแพร่ผ่านเอกสาร

สถานการณ์ใดที่สนับสนุน RAG อย่างชัดเจนที่สุดในบริบทที่ยาว

RAG ขยายขนาดเกินหน้าต่างใดๆ อัปเดตแบบค่อยเป็นค่อยไป และสามารถกรองผลลัพธ์ตามสิทธิ์

เมื่อใช้การแคชพร้อมท์กับคลังข้อมูลที่ยาว ควรจัดเตรียมพร้อมต์อย่างไร

การแคชจะใช้คำนำหน้าที่เหมือนกันซ้ำ ดังนั้นเนื้อหาที่ไม่มีการเปลี่ยนแปลงจะต้องมาก่อน

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →