Tiếp theoHướng dẫn tiếp theo
Tài liệu gốc và truy xuất từ nhỏ đến lớn
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Truy xuất theo ngữ cảnh là một kỹ thuật RAG bổ sung thêm một lời giải thích ngắn gọn, dễ hiểu về tài liệu cho từng đoạn trước khi nó được nhúng và lập chỉ mục để tìm kiếm từ khóa, do đó, một đoạn vẫn có ý nghĩa khi đọc riêng.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Điều này quan trọng vì các phần thường bị mất thông tin quan trọng khi bị tách khỏi tài liệu của chúng, chẳng hạn như công ty, sản phẩm hoặc khoảng thời gian mà chúng đề cập đến và sự mất mát đó khiến người truy tìm bỏ lỡ đoạn phù hợp.
RAG tiêu chuẩn chia tài liệu thành các phần, nhúng từng phần và truy xuất các phần giống với câu hỏi nhất. Vấn đề là phân chia dải bối cảnh. Đoạn có nội dung "doanh thu của công ty tăng 3%" không cho biết công ty nào hoặc giai đoạn nào, do đó, cả tìm kiếm ngữ nghĩa và tìm kiếm từ khóa đều không thể khớp nó với câu hỏi đặt tên cho chúng một cách đáng tin cậy. Anthropic đã mô tả khả năng truy xuất theo ngữ cảnh vào tháng 9 năm 2024. Đối với mỗi đoạn, một mô hình ngôn ngữ được cung cấp toàn bộ tài liệu và đoạn, đồng thời được yêu cầu viết một ngữ cảnh ngắn gọn (thường khoảng 50 đến 100 mã thông báo) để đặt đoạn trong tài liệu. Bối cảnh đó được thêm vào đoạn này. Sau đó, văn bản kết hợp được sử dụng trong hai chỉ mục: chỉ mục nhúng (nhúng theo ngữ cảnh) và chỉ mục từ khóa BM25 (BM25 theo ngữ cảnh). Tại thời điểm truy vấn, kết quả từ cả hai được kết hợp và tùy chọn một trình sắp xếp lại sẽ sắp xếp lại các ứng cử viên hàng đầu. Trong các thử nghiệm được báo cáo của Anthropic trên một số tập dữ liệu, các phần nhúng theo ngữ cảnh cộng với BM25 theo ngữ cảnh đã giảm tỷ lệ lỗi truy xuất trong top 20 xuống khoảng 49% so với các phần nhúng tiêu chuẩn và việc thêm tính năng sắp xếp lại đã mang lại mức giảm xuống còn khoảng 67%. Kết quả trên dữ liệu của riêng bạn có thể khác nhau, vì vậy cần phải đo lường. Chi phí tính tại thời điểm lập chỉ mục: một lệnh gọi mô hình cho mỗi đoạn, mỗi lệnh bao gồm toàn bộ tài liệu. Bộ nhớ đệm nhanh chóng giúp việc này rẻ hơn nhiều vì tài liệu được lưu vào bộ nhớ đệm một lần và được sử dụng lại trên tất cả các phần của nó. Những quan niệm sai lầm cần tránh: ngữ cảnh được thêm vào được sử dụng để truy xuất và bạn có thể chọn có hiển thị nó cho trình tạo hay không. Nó không thay thế việc phân đoạn tốt và đối với các cơ sở kiến thức nhỏ phù hợp với cửa sổ ngữ cảnh của mô hình, việc gửi mọi thứ trực tiếp có thể đơn giản hơn bất kỳ quy trình truy xuất nào.
Một đoạn trong báo cáo hàng quý chỉ có nội dung "Doanh thu tăng 3% so với quý trước"; truy xuất theo ngữ cảnh phụ thuộc vào dữ liệu xuất phát từ hồ sơ Quý 2 của một công ty cụ thể, do đó, tìm kiếm đặt tên cho công ty và quý đó sẽ tìm thấy nó.
Trong sổ tay nhân viên, một đoạn có nội dung "Điều này áp dụng sau 90 ngày" sẽ có tiền tố giải thích điều đó nằm trong phần về tính đủ điều kiện làm việc từ xa.
Trợ lý tài liệu phần mềm bổ sung ngữ cảnh lưu ý rằng đoạn cấu hình thuộc phiên bản 3 của API, giúp giảm nhầm lẫn với văn bản tương tự từ phiên bản 2.
Cơ sở kiến thức hỗ trợ đặt trước các phần khắc phục sự cố với mẫu sản phẩm mà chúng đề cập, vì vậy, các câu hỏi về một mẫu sẽ ngừng truy xuất các bước cho mẫu khác.
Truy xuất theo ngữ cảnh phản ánh xu hướng rộng hơn là dành nhiều tính toán hơn vào thời điểm lập chỉ mục để làm cho thời gian truy vấn đáng tin cậy hơn. Khi các lệnh gọi mô hình ngày càng rẻ hơn và bộ nhớ đệm trở thành tiêu chuẩn, việc thêm ngữ cảnh vào các khối có thể sẽ trở thành một bước mặc định trong nhiều quy trình RAG. Cửa sổ ngữ cảnh dài hơn giúp giảm nhu cầu truy xuất trong các bộ sưu tập nhỏ chứ không phải trong các bộ sưu tập lớn, vì vậy các kỹ thuật như thế này sẽ phù hợp với các cơ sở kiến thức lớn. Mong đợi nhiều sự kết hợp hơn với tính năng lọc siêu dữ liệu, biểu đồ tri thức và truy xuất tương tác muộn, với các nhóm lựa chọn dựa trên khả năng thu hồi được đo lường thay vì thời trang.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Truy xuất theo ngữ cảnh là một kỹ thuật RAG bổ sung thêm một lời giải thích ngắn gọn, dễ hiểu về tài liệu cho từng đoạn trước khi nó được nhúng và lập chỉ mục để tìm kiếm từ khóa, do đó, một đoạn vẫn có ý nghĩa khi đọc riêng. Điều này quan trọng vì các phần thường bị mất thông tin quan trọng khi bị tách khỏi tài liệu của chúng, chẳng hạn như công ty, sản phẩm hoặc khoảng thời gian mà chúng đề cập đến và sự mất mát đó khiến người truy tìm bỏ lỡ đoạn phù hợp.
Việc tách sẽ loại bỏ bối cảnh xung quanh, do đó, một đoạn riêng biệt có thể không đề cập đến thực thể hoặc giai đoạn mà câu hỏi hỏi đến.
Mô hình được cung cấp toàn bộ tài liệu và đoạn và trả về một bối cảnh ngắn gọn đặt đoạn đó trong tài liệu.
Phương pháp này sử dụng các phần nhúng theo ngữ cảnh và BM25 theo ngữ cảnh, sau đó kết hợp các kết quả của chúng.
Anthropic báo cáo mức giảm 49%, tăng lên khoảng 67% khi xếp hạng lại. Kết quả trên dữ liệu khác có thể khác nhau.
Cuộc gọi của mỗi đoạn bao gồm tài liệu đầy đủ; bộ nhớ đệm có tiền tố được chia sẻ sẽ tránh phải trả giá đầy đủ nhiều lần.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Tài liệu gốc và truy xuất từ nhỏ đến lớn
kỹ thuật