Tiếp theoHướng dẫn tiếp theo
Mô hình hóa bối cảnh dài
Ngôn ngữ AI
HƯỚNG DẪN AI về ngôn ngữ
Ngữ cảnh dài có nghĩa là đặt toàn bộ tài liệu trực tiếp vào cửa sổ ngữ cảnh lớn của mô hình, trong khi RAG chỉ truy xuất những đoạn có liên quan nhất cho mỗi câu hỏi.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Ngữ cảnh dài thường đơn giản và tốt hơn khi kiến thức phù hợp với cửa sổ và các câu hỏi cần xem toàn bộ tài liệu; RAG thường thắng về chi phí cho mỗi truy vấn, độ trễ, độ mới, quy mô và kiểm soát truy cập. Hầu hết các hệ thống mạnh đều kết hợp cả hai thay vì chọn một.
Cửa sổ ngữ cảnh đã tăng từ vài nghìn mã thông báo trong các mô hình trò chuyện ban đầu lên hàng trăm nghìn và Gemini 1.5 Pro của Gemini, được công bố vào năm 2024, cung cấp cửa sổ gồm một triệu mã thông báo. Điều đó đặt ra một câu hỏi rõ ràng: nếu mô hình có thể đọc toàn bộ sách hướng dẫn, tại sao lại phải xây dựng một quy trình truy xuất? Câu trả lời phụ thuộc vào bốn sự đánh đổi. Chi phí: nhà cung cấp tính phí theo mỗi mã thông báo đầu vào, do đó, việc gửi hàng trăm nghìn mã thông báo cho mỗi câu hỏi sẽ tốn kém hơn nhiều so với việc gửi vài nghìn mã thông báo có liên quan, mặc dù việc lưu vào bộ nhớ đệm nhanh chóng có thể giảm giá của tiền tố lặp lại. Độ trễ: mô hình phải xử lý mọi mã thông báo đầu vào trước khi trả lời, do đó thời gian đến mã thông báo đầu tiên tăng theo độ dài ngữ cảnh. Độ chính xác: ngữ cảnh dài tránh bị bỏ sót khi truy xuất vì không có gì được lọc ra và nó xử lý các câu hỏi cần toàn bộ tài liệu, như tóm tắt chủ đề hoặc so sánh các chương. Nhưng các mô hình không sử dụng tất cả các vị trí như nhau. Nghiên cứu Lost in the Middle năm 2023 cho thấy hiệu suất giảm khi thông tin liên quan nằm ở giữa các dữ liệu đầu vào dài và các bài kiểm tra mò kim đáy bể chỉ đo lường việc tra cứu đơn giản chứ không phải lý luận trên nhiều sự kiện rải rác. Tính cập nhật và quy mô: Các chỉ mục RAG có thể được cập nhật tăng dần, bao gồm nhiều tài liệu hơn bất kỳ cửa sổ nào và hỗ trợ kiểm soát quyền truy cập của mỗi người dùng bằng cách lọc những gì được truy xuất. Một quy tắc thực tế: nếu kiến thức vừa vặn trong cửa sổ, được truy vấn nhiều lần và các câu hỏi cần hiểu rộng thì ngữ cảnh dài thường đơn giản và tốt hơn. Nếu kho dữ liệu lớn, thay đổi thường xuyên, có quyền hoặc phải trả lời với giá rẻ bằng trích dẫn, hãy truy xuất. Quan niệm sai lầm phổ biến là cái này thay thế cái kia. Nhiều hệ thống mạnh mẽ kết hợp chúng: truy xuất rộng rãi ở cấp độ tài liệu, sau đó sử dụng một cửa sổ dài để bao gồm toàn bộ tài liệu thay vì các đoạn nhỏ.
Một luật sư tải một thỏa thuận sáp nhập dài 300 trang vào một mô hình ngữ cảnh dài để hỏi các điều khoản bồi thường tương tác như thế nào giữa các phần, một câu hỏi mà các phần được truy xuất rải rác sẽ trả lời kém.
Nền tảng hỗ trợ khách hàng với hàng triệu bài viết trợ giúp thay đổi hàng ngày sử dụng RAG vì không có cửa sổ ngữ cảnh nào chứa kho văn bản và chỉ mục có thể được cập nhật theo từng bài viết.
Chatbot của công ty phục vụ nhân viên với các cấp độ thông quan khác nhau sử dụng truy xuất bằng các bộ lọc quyền, vì vậy lời nhắc của mỗi người dùng chỉ chứa các tài liệu mà họ được phép xem.
Một nhóm nghiên cứu lấy ra mười bài báo phù hợp nhất, sau đó chuyển từng bài báo đầy đủ vào một cửa sổ ngữ cảnh dài thay vì những đoạn nhỏ, kết hợp cả hai cách tiếp cận.
Khoảng thời gian lớn hơn và giảm giá bộ nhớ đệm sẽ chuyển điểm hòa vốn sang bối cảnh dài cho doanh nghiệp vừa và nhỏ. Việc truy xuất khó có thể biến mất vì nhiều tổ chức lưu giữ nhiều văn bản hơn bất kỳ cửa sổ nào, dữ liệu của họ thay đổi liên tục và họ cần quyền và trích dẫn của mỗi người dùng. Hướng có nhiều khả năng hơn là trộn: các tác nhân quyết định thời điểm truy xuất, đọc toàn bộ tài liệu sau khi tìm thấy và lưu vào bộ nhớ đệm những gì chúng sử dụng lại. Nghiên cứu tiếp tục tạo ra các mô hình sử dụng vị trí ở giữa một cách đáng tin cậy và ít gây chú ý hơn cho các đầu vào dài. Vì giá cả và mẫu mã thay đổi thường xuyên nên các nhóm nên thực hiện lại các so sánh về chi phí và độ chính xác của riêng mình theo định kỳ.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Ngữ cảnh dài có nghĩa là đặt toàn bộ tài liệu trực tiếp vào cửa sổ ngữ cảnh lớn của mô hình, trong khi RAG chỉ truy xuất những đoạn có liên quan nhất cho mỗi câu hỏi. Ngữ cảnh dài thường đơn giản và tốt hơn khi kiến thức phù hợp với cửa sổ và các câu hỏi cần xem toàn bộ tài liệu; RAG thường thắng về chi phí cho mỗi truy vấn, độ trễ, độ mới, quy mô và kiểm soát truy cập. Hầu hết các hệ thống mạnh đều kết hợp cả hai thay vì chọn một.
Chi phí tăng theo mã thông báo đầu vào, do đó, việc gửi toàn bộ kho văn bản mỗi lần sẽ tốn kém hơn nhiều so với việc gửi một vài đoạn có liên quan.
Các mô hình sử dụng thông tin ở đầu và cuối của đầu vào dài đáng tin cậy hơn thông tin ở giữa.
Việc tìm ra một sự thật được gieo trồng dễ dàng hơn việc kết hợp nhiều sự thật được lan truyền trong một tài liệu.
RAG mở rộng quy mô ra ngoài bất kỳ cửa sổ nào, cập nhật dần dần và có thể lọc kết quả theo quyền.
Bộ nhớ đệm sử dụng lại tiền tố giống hệt nhau, vì vậy nội dung không thay đổi phải được đặt trước.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Mô hình hóa bối cảnh dài
Ngôn ngữ AI