Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Số liệu đánh giá RAG và bài kiểm tra RAGAS

Kiểm tra hiểu biết của bạn về đánh giá RAG: độ trung thực, mức độ liên quan của câu trả lời, độ chính xác và khả năng ghi nhớ của ngữ cảnh cũng như cách các giám khảo LLM chấm điểm chúng.

Đường dẫn hướng dẫn liên quanCác số liệu đánh giá RAG và Ragas
Câu hỏi 1 của 8

Chỉ số nào kiểm tra xem liệu mọi tuyên bố trong câu trả lời có được hỗ trợ bởi ngữ cảnh được truy xuất hay không?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Chỉ số nào kiểm tra xem liệu mọi tuyên bố trong câu trả lời có được hỗ trợ bởi ngữ cảnh được truy xuất hay không?
    • Answer relevance
    • Context recall
    • Faithfulness
    • Context precision
  2. Chỉ số nào trong số này yêu cầu một câu trả lời tham chiếu chuẩn (ground-truth) cho mỗi câu hỏi kiểm tra?
    • Context recall
    • Faithfulness
    • Answer relevance
    • Response latency
  3. Độ chính xác ngữ cảnh đo lường điều gì?
    • How quickly chunks are retrieved
    • Whether the answer is short
    • How many documents are in the index
    • Whether the relevant retrieved chunks are ranked near the top
  4. RAGAS ước tính độ liên quan của câu trả lời như thế nào?
    • By counting words shared by answer and context
    • By generating questions the answer would respond to and comparing them to the original question with embeddings
    • By asking the user to rate each answer
    • By checking the answer against a reference with exact string match
  5. Một hệ thống cho thấy khả năng thu hồi ngữ cảnh cao nhưng độ chính xác ngữ cảnh thấp. Giải pháp khả thi nhất là gì?
    • Improve ranking, for example by adding a reranker
    • Switch to a smaller generation model
    • Remove the reference answers
    • Lower the number of test questions
  6. Why can a perfectly faithful answer still be wrong?
    • Faithfulness only checks grammar
    • Faithfulness ignores the retrieved context
    • It can faithfully repeat an outdated or incorrect document
    • Faithful answers are always too short
  7. Why should teams pin the judge model and settings when comparing RAG systems?
    • Pinning makes the judge free to run
    • Judges only work with one vector database
    • Pinning removes the need for test questions
    • LLM-judge scores vary with the judge model and prompt, so comparisons need identical settings
  8. Retrieval returns the right passages, but the answer adds unsupported details. Where should the team look first?
    • The chunking strategy
    • The prompt or the generation model
    • The embedding model
    • The number of documents indexed