HƯỚNG DẪN AI về ngôn ngữ

Bối cảnh dài so với RAG

Ngữ cảnh dài có nghĩa là đặt toàn bộ tài liệu trực tiếp vào cửa sổ ngữ cảnh lớn của mô hình, trong khi RAG chỉ truy xuất những đoạn có liên quan nhất cho mỗi câu hỏi.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của bối cảnh dài so với RAG
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Ngữ cảnh dài thường đơn giản và tốt hơn khi kiến ​​thức phù hợp với cửa sổ và các câu hỏi cần xem toàn bộ tài liệu; RAG thường thắng về chi phí cho mỗi truy vấn, độ trễ, độ mới, quy mô và kiểm soát truy cập. Hầu hết các hệ thống mạnh đều kết hợp cả hai thay vì chọn một.

Lặn sâu

Cửa sổ ngữ cảnh đã tăng từ vài nghìn mã thông báo trong các mô hình trò chuyện ban đầu lên hàng trăm nghìn và Gemini 1.5 Pro của Gemini, được công bố vào năm 2024, cung cấp cửa sổ gồm một triệu mã thông báo. Điều đó đặt ra một câu hỏi rõ ràng: nếu mô hình có thể đọc toàn bộ sách hướng dẫn, tại sao lại phải xây dựng một quy trình truy xuất? Câu trả lời phụ thuộc vào bốn sự đánh đổi. Chi phí: nhà cung cấp tính phí theo mỗi mã thông báo đầu vào, do đó, việc gửi hàng trăm nghìn mã thông báo cho mỗi câu hỏi sẽ tốn kém hơn nhiều so với việc gửi vài nghìn mã thông báo có liên quan, mặc dù việc lưu vào bộ nhớ đệm nhanh chóng có thể giảm giá của tiền tố lặp lại. Độ trễ: mô hình phải xử lý mọi mã thông báo đầu vào trước khi trả lời, do đó thời gian đến mã thông báo đầu tiên tăng theo độ dài ngữ cảnh. Độ chính xác: ngữ cảnh dài tránh bị bỏ sót khi truy xuất vì không có gì được lọc ra và nó xử lý các câu hỏi cần toàn bộ tài liệu, như tóm tắt chủ đề hoặc so sánh các chương. Nhưng các mô hình không sử dụng tất cả các vị trí như nhau. Nghiên cứu Lost in the Middle năm 2023 cho thấy hiệu suất giảm khi thông tin liên quan nằm ở giữa các dữ liệu đầu vào dài và các bài kiểm tra mò kim đáy bể chỉ đo lường việc tra cứu đơn giản chứ không phải lý luận trên nhiều sự kiện rải rác. Tính cập nhật và quy mô: Các chỉ mục RAG có thể được cập nhật tăng dần, bao gồm nhiều tài liệu hơn bất kỳ cửa sổ nào và hỗ trợ kiểm soát quyền truy cập của mỗi người dùng bằng cách lọc những gì được truy xuất. Một quy tắc thực tế: nếu kiến ​​thức vừa vặn trong cửa sổ, được truy vấn nhiều lần và các câu hỏi cần hiểu rộng thì ngữ cảnh dài thường đơn giản và tốt hơn. Nếu kho dữ liệu lớn, thay đổi thường xuyên, có quyền hoặc phải trả lời với giá rẻ bằng trích dẫn, hãy truy xuất. Quan niệm sai lầm phổ biến là cái này thay thế cái kia. Nhiều hệ thống mạnh mẽ kết hợp chúng: truy xuất rộng rãi ở cấp độ tài liệu, sau đó sử dụng một cửa sổ dài để bao gồm toàn bộ tài liệu thay vì các đoạn nhỏ.

Triển khai trong thế giới thực

Một luật sư tải một thỏa thuận sáp nhập dài 300 trang vào một mô hình ngữ cảnh dài để hỏi các điều khoản bồi thường tương tác như thế nào giữa các phần, một câu hỏi mà các phần được truy xuất rải rác sẽ trả lời kém.

Nền tảng hỗ trợ khách hàng với hàng triệu bài viết trợ giúp thay đổi hàng ngày sử dụng RAG vì không có cửa sổ ngữ cảnh nào chứa kho văn bản và chỉ mục có thể được cập nhật theo từng bài viết.

Chatbot của công ty phục vụ nhân viên với các cấp độ thông quan khác nhau sử dụng truy xuất bằng các bộ lọc quyền, vì vậy lời nhắc của mỗi người dùng chỉ chứa các tài liệu mà họ được phép xem.

Một nhóm nghiên cứu lấy ra mười bài báo phù hợp nhất, sau đó chuyển từng bài báo đầy đủ vào một cửa sổ ngữ cảnh dài thay vì những đoạn nhỏ, kết hợp cả hai cách tiếp cận.

Tương lai của bối cảnh dài so với RAG

Khoảng thời gian lớn hơn và giảm giá bộ nhớ đệm sẽ chuyển điểm hòa vốn sang bối cảnh dài cho doanh nghiệp vừa và nhỏ. Việc truy xuất khó có thể biến mất vì nhiều tổ chức lưu giữ nhiều văn bản hơn bất kỳ cửa sổ nào, dữ liệu của họ thay đổi liên tục và họ cần quyền và trích dẫn của mỗi người dùng. Hướng có nhiều khả năng hơn là trộn: các tác nhân quyết định thời điểm truy xuất, đọc toàn bộ tài liệu sau khi tìm thấy và lưu vào bộ nhớ đệm những gì chúng sử dụng lại. Nghiên cứu tiếp tục tạo ra các mô hình sử dụng vị trí ở giữa một cách đáng tin cậy và ít gây chú ý hơn cho các đầu vào dài. Vì giá cả và mẫu mã thay đổi thường xuyên nên các nhóm nên thực hiện lại các so sánh về chi phí và độ chính xác của riêng mình theo định kỳ.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
  • Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
  • Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.

coi chừng

  • Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
  • Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
  • Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.

Các bước tiếp theo

  1. Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
  2. Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
  3. Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
  4. Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Long Context vs RAG quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Bối cảnh dài và RAG là gì?

Ngữ cảnh dài có nghĩa là đặt toàn bộ tài liệu trực tiếp vào cửa sổ ngữ cảnh lớn của mô hình, trong khi RAG chỉ truy xuất những đoạn có liên quan nhất cho mỗi câu hỏi. Ngữ cảnh dài thường đơn giản và tốt hơn khi kiến ​​thức phù hợp với cửa sổ và các câu hỏi cần xem toàn bộ tài liệu; RAG thường thắng về chi phí cho mỗi truy vấn, độ trễ, độ mới, quy mô và kiểm soát truy cập. Hầu hết các hệ thống mạnh đều kết hợp cả hai thay vì chọn một.

Tại sao cách tiếp cận theo ngữ cảnh dài thường tốn nhiều chi phí cho mỗi truy vấn hơn RAG?

Chi phí tăng theo mã thông báo đầu vào, do đó, việc gửi toàn bộ kho văn bản mỗi lần sẽ tốn kém hơn nhiều so với việc gửi một vài đoạn có liên quan.

Nghiên cứu Lost in the Middle năm 2023 đã tìm ra điều gì?

Các mô hình sử dụng thông tin ở đầu và cuối của đầu vào dài đáng tin cậy hơn thông tin ở giữa.

Hạn chế chính của các bài kiểm tra kim tiêm là gì?

Việc tìm ra một sự thật được gieo trồng dễ dàng hơn việc kết hợp nhiều sự thật được lan truyền trong một tài liệu.

Tình huống nào rõ ràng có lợi cho RAG trong bối cảnh dài hạn?

RAG mở rộng quy mô ra ngoài bất kỳ cửa sổ nào, cập nhật dần dần và có thể lọc kết quả theo quyền.

Khi sử dụng bộ nhớ đệm nhanh với kho dữ liệu dài, lời nhắc nên được sắp xếp như thế nào?

Bộ nhớ đệm sử dụng lại tiền tố giống hệt nhau, vì vậy nội dung không thay đổi phải được đặt trước.