Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bối cảnh dài và câu đố RAG

So sánh bối cảnh dài và RAG về chi phí, độ trễ, độ chính xác và độ mới, bao gồm cả hiệu ứng mất ở giữa và thiết kế kết hợp.

Đường dẫn hướng dẫn liên quanBối cảnh dài Vs RAG
Câu hỏi 1 của 8

Tại sao cách tiếp cận theo ngữ cảnh dài thường tốn nhiều chi phí cho mỗi truy vấn hơn RAG?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Tại sao cách tiếp cận theo ngữ cảnh dài thường tốn nhiều chi phí cho mỗi truy vấn hơn RAG?
    • Providers charge per input token, and long context sends far more tokens
    • Long-context models require a vector database
    • RAG is always free
    • Long context requires fine-tuning for each question
  2. Nghiên cứu Lost in the Middle năm 2023 đã tìm ra điều gì?
    • Models ignore the first sentence of every prompt
    • Retrieval always beats long context
    • Performance dropped when relevant information was placed in the middle of long inputs
    • Context windows cannot exceed 4,000 tokens
  3. Hạn chế chính của các bài kiểm tra kim tiêm là gì?
    • Chúng chỉ hoạt động trên hình ảnh
    • They measure simple lookup, not reasoning across many scattered facts
    • They cannot be run on long inputs
    • They measure cost, not accuracy
  4. Tình huống nào rõ ràng có lợi cho RAG trong bối cảnh dài hạn?
    • A single short policy document queried a few times
    • Summarizing the themes of one novel
    • Comparing two chapters of one report
    • A large, frequently changing corpus with per-user access permissions
  5. Khi sử dụng bộ nhớ đệm nhanh với kho dữ liệu dài, lời nhắc nên được sắp xếp như thế nào?
    • Put the question first and the corpus last
    • Shuffle the corpus on each request
    • Put the stable corpus first and the variable question last
    • Split the corpus across separate requests
  6. Why does time to first token increase with context length?
    • The model must process every input token before it starts answering
    • Longer prompts are sent over slower networks
    • The model retrieves documents from the internet
    • Output tokens are generated in parallel
  7. Which task is long context particularly well suited to?
    • Searching millions of support articles
    • Serving users with different clearance levels
    • Answering from data that changes every hour
    • Summarizing themes across an entire document
  8. What does a common hybrid of long context and RAG look like?
    • Using RAG only for images and long context only for text
    • Retrieving relevant documents generously, then including whole documents in a long window
    • Fine-tuning the model on the retrieved chunks
    • Alternating approaches on odd and even days