แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
RAG แบบเก็งกำไรและแบบทดสอบการร่างแบบดึงข้อมูลเสริม
ตรวจสอบการจัดกลุ่มเอกสาร ร่างคำตอบแบบขนาน การสร้างเหตุผล การให้คะแนนของผู้ตรวจสอบ และวิธีที่การเก็งกำไรเปลี่ยนแปลงเวลาแฝงในการดึงข้อมูล
คำถาม 1 ของ 8
ใน Speculative RAG โมเดลขนาดเล็กมีบทบาทอย่างไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ใน Speculative RAG โมเดลขนาดเล็กมีบทบาทอย่างไร
- โดยจะร่างคำตอบของผู้สมัครหลายรายจากชุดย่อยของเอกสารที่ดึงข้อมูล
- จะตรวจสอบและจัดอันดับคำตอบสุดท้าย
- มันเก็บฐานข้อมูลเวกเตอร์
- มันจัดการเฉพาะโทเค็นเท่านั้น
- เหตุใดเอกสารที่ดึงมาจึงถูกรวมกลุ่มก่อนการร่าง
- เพื่อบีบอัดให้เป็นโทเค็นเดียว
- เพื่อสร้างชุดย่อยหลักฐานที่หลากหลายและไม่ซ้ำซ้อนสำหรับร่างต่างๆ
- ในการลบโมเดลที่ซ้ำกัน
- เพื่อเพิ่มคำศัพท์ให้กับโมเดล
- โมเดล 'ผู้ตรวจสอบ' ที่ใหญ่กว่าทำหน้าที่อะไรเป็นหลัก
- สร้างเอกสารที่ดึงมา
- ฝึกโมเดลการฝัง
- ให้คะแนนร่างของผู้สมัครและเลือกสิ่งที่ดีที่สุด
- จัดกลุ่มเอกสาร
- Speculative RAG ลดเวลาแฝงเมื่อเปรียบเทียบกับ RAG มาตรฐานอย่างไร
- โดยข้ามการเรียกค้นไปโดยสิ้นเชิง
- โดยใช้หน้าต่างบริบทที่เล็กลงโดยไม่มีเอกสาร
- โดยการแคชคำถามของผู้ใช้
- โดยให้โมเดลขนาดเล็กทำการร่างแบบขนาน ดังนั้นโมเดลขนาดใหญ่จะตรวจสอบเฉพาะแบบร่างสั้นๆ เท่านั้น
- ร่างแต่ละฉบับที่จัดทำโดยผู้ร่างโดยทั่วไปประกอบด้วย:
- เหตุผลในการอธิบายคำตอบ
- ตุ้มน้ำหนักโมเดลชุดใหม่
- ดัชนีเวกเตอร์เต็ม
- รายชื่อผู้ใช้ทั้งหมด
- โครงสร้างแบบร่างแล้วตรวจสอบของเก็งกำไร RAG มีแนวคิดคล้ายกับเทคนิคการถอดรหัสใด
- การตัดแต่งกิ่งค้นหาบีม
- การถอดรหัสเก็งกำไร
- การสุ่มตัวอย่างแบบโลภ
- การกรอง Top-k
- What information can the Speculative RAG verifier use when ranking candidate drafts?
- Only the length of each document
- The GPU type and cluster name
- Draft consistency, rationale likelihood and a self-reflection signal
- A random choice among the drafts
- Why sample documents from different clusters for separate drafts?
- To ensure every draft sees identical passages
- To remove all retrieved evidence
- To make each drafter use a different tokenizer
- To give the drafts diverse, less-redundant evidence subsets