Tiếp theoHướng dẫn tiếp theo
Số liệu đánh giá ROUGE và BLEU
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Đánh giá RAG chấm điểm hệ thống tạo tăng cường truy xuất (retrieval-augmented generation) riêng biệt cho phần truy xuất và phần tạo, phổ biến nhất là với bốn chỉ số: độ trung thực (faithfulness), độ liên quan của câu trả lời, độ chính xác ngữ cảnh và độ bao phủ ngữ cảnh.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
RAGAS là một khung mã nguồn mở tính toán các chỉ số này, chủ yếu sử dụng LLM làm trọng tài. Các điểm số riêng biệt quan trọng vì chúng cho thấy một câu trả lời kém là do lấy sai đoạn văn bản hay do sử dụng sai các đoạn văn bản đúng.
A RAG system can fail in two places: retrieval can fetch the wrong passages, or generation can ignore or distort the right ones. A single overall quality score hides which happened, so RAG evaluation splits the pipeline into measurable parts. RAGAS, an open-source framework introduced in a 2023 paper by Es and colleagues, popularized a set of core metrics that cover both halves. Faithfulness asks whether every claim in the answer is supported by the retrieved context; it catches hallucination even when the answer sounds plausible. Answer relevance asks whether the answer actually addresses the question, penalizing evasive or padded replies. Context precision asks whether the retrieved chunks that matter are ranked near the top rather than buried among noise. Context recall asks whether the retrieved context contains everything needed to produce a reference answer, so it requires a ground-truth answer for each test question. Most of these scores are computed by an LLM acting as a judge, broken into small steps. For faithfulness, the judge extracts individual statements from the answer and checks each against the context; the score is the fraction supported. For answer relevance, RAGAS generates questions that the answer would respond to and compares them with the original question using embeddings. Similar ideas appear in other tools, such as the TruLens RAG triad (context relevance, groundedness and answer relevance) and DeepEval. Two misconceptions are common. First, faithful does not mean correct: an answer can faithfully repeat an outdated or wrong document. Second, LLM-judge scores are not ground truth. They vary with the judge model and prompt, so teams spot-check them against human labels and compare systems under identical settings rather than treating a score like 0.85 as an absolute grade.
Trợ lý chính sách của một ngân hàng đạt điểm 0,95 về độ bao phủ ngữ cảnh nhưng chỉ 0,70 về độ trung thực, điều này cho thấy nhóm phát triển rằng việc truy xuất là ổn nhưng mô hình đang thêm các chi tiết không có cơ sở, do đó họ siết chặt prompt thay vì xây dựng lại chỉ mục.
Một nhóm hỗ trợ so sánh hai mô hình nhúng (embedding) trên cùng bộ kiểm tra 200 câu hỏi và giữ lại mô hình có độ bao phủ ngữ cảnh và độ chính xác ngữ cảnh cao hơn.
Một công cụ tri thức bệnh viện chạy chấm điểm độ trung thực trên một mẫu hàng ngày các câu hỏi thực tế và đánh dấu các câu trả lời có các tuyên bố không có cơ sở để con người xem xét trước khi mô hình đó lan rộng.
Một công ty khởi nghiệp thêm một bộ xếp hạng lại (reranker) sau khi nhận thấy độ bao phủ ngữ cảnh cao nhưng độ chính xác ngữ cảnh thấp, có nghĩa là các khối văn bản đúng đã được truy xuất nhưng bị xếp hạng thấp hơn các khối không liên quan.
Đánh giá RAG đang chuyển từ các báo cáo ngoại tuyến thỉnh thoảng sang các kiểm tra liên tục, trong đó một mẫu lưu lượng sản xuất được chấm điểm và các sự thoái hóa (regressions) kích hoạt cảnh báo. Các khung đã thêm các chỉ số cho các cuộc hội thoại nhiều lượt, các tác nhân (agents) và việc sử dụng công cụ, và định nghĩa các chỉ số thay đổi giữa các phiên bản thư viện, do đó việc cố định phiên bản là quan trọng để có kết quả so sánh được. Vấn đề mở lớn nhất là độ tin cậy của trọng tài: các trọng tài LLM có thể thể hiện các thiên kiến như ưu tiên các câu trả lời dài hơn, và mức độ đồng thuận với các nhà xem xét con người thay đổi theo lĩnh vực. Hiệu chuẩn các trọng tài đối với các bộ dữ liệu nhỏ được dán nhãn bởi con người và kết hợp chúng với các chỉ số truy xuất tất định có khả năng sẽ tiếp tục là thực hành tốt.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Đánh giá RAG chấm điểm hệ thống tạo tăng cường truy xuất (retrieval-augmented generation) riêng biệt cho phần truy xuất và phần tạo, phổ biến nhất là với bốn chỉ số: độ trung thực (faithfulness), độ liên quan của câu trả lời, độ chính xác ngữ cảnh và độ bao phủ ngữ cảnh. RAGAS là một khung mã nguồn mở tính toán các chỉ số này, chủ yếu sử dụng LLM làm trọng tài. Các điểm số riêng biệt quan trọng vì chúng cho thấy một câu trả lời kém là do lấy sai đoạn văn bản hay do sử dụng sai các đoạn văn bản đúng.
Độ trung thực đo tỷ lệ các tuyên bố trong câu trả lời được ngữ cảnh hỗ trợ, nhằm mục đích chống lại hiện tượng ảo giác (hallucination).
Độ bao phủ ngữ cảnh kiểm tra xem liệu ngữ cảnh được truy xuất có chứa những gì cần thiết cho câu trả lời tham chiếu hay không, do đó một câu trả lời tham chiếu phải tồn tại.
Độ chính xác ngữ cảnh thưởng cho việc đặt các khối văn bản hữu ích ở vị trí cao trong xếp hạng thay vì chôn vùi chúng giữa các khối không liên quan.
Nếu các câu hỏi được tạo ra từ câu trả lời giống với câu hỏi thực tế, thì câu trả lời đó đúng chủ đề; các embedding đo lường mức độ tương đồng đó.
Các đoạn văn bản phù hợp đang được truy xuất nhưng xếp hạng kém, đây là vấn đề xếp hạng mà bộ sắp xếp lại (reranker) thường giải quyết.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Số liệu đánh giá ROUGE và BLEU
kỹ thuật