Cửa sổ ngữ cảnh
Cửa sổ ngữ cảnh là lượng văn bản tối đa — được đo bằng mã thông báo — mà một mô hình có thể đọc và ghi nhớ cùng một lúc.
Tổng quan
It sets a hard limit on how much of your conversation, documents, or instructions the model can actually use.
Lặn sâu
Mô hình không đọc trực tiếp các ký tự hoặc từ; họ đọc mã thông báo, trong đó mã thông báo là một đoạn văn bản chiếm khoảng 3/4 từ trong tiếng Anh. Cửa sổ ngữ cảnh đếm lời nhắc cộng với phản hồi của chính mô hình. GPT-3 thời kỳ đầu đã xử lý khoảng 2.000 mã thông báo; đến năm 2025–2026, các mô hình biên giới đã mở rộng đáng kể — Gemini của Google đạt từ một đến hai triệu mã thông báo, một số mô hình Claude và GPT cung cấp 128K lên đến một triệu, đủ cho toàn bộ sách hoặc cơ sở mã. Nhưng lớn hơn không tự động tốt hơn. Vì sự chú ý so sánh mọi mã thông báo với nhau nên chi phí tính toán và bộ nhớ tăng mạnh theo độ dài. Các mô hình cũng cho thấy hiệu ứng 'bị mất ở giữa', gợi lại thông tin ở đầu và cuối của một đầu vào dài đáng tin cậy hơn so với vật liệu bị chôn vùi ở giữa.
Hiểu biết kỹ thuật
Mọi thứ trong một yêu cầu duy nhất — hướng dẫn hệ thống, lượt trò chuyện trước, tài liệu đã dán và câu trả lời được tạo — phải phù hợp với ngân sách mã thông báo. Khi tràn, nội dung cũ nhất sẽ bị loại bỏ hoặc phải được tóm tắt, đó là lý do tại sao những cuộc trò chuyện dài dường như bị “quên”. Cửa sổ lớn hơn sẽ tốn kém vì mức độ tự chú ý tăng gần bằng bình phương số lượng mã thông báo và do mô hình lưu trữ các vectơ khóa/giá trị cho mỗi mã thông báo, tiêu tốn bộ nhớ. Đây là lý do tại sao các nhà cung cấp định giá theo mã thông báo và tại sao việc truy xuất thường rẻ hơn so với việc nhét mọi thứ vào ngữ cảnh.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của Windows ngữ cảnh
Cửa sổ ngữ cảnh sẽ tiếp tục phát triển nhưng trọng tâm là chuyển từ kích thước thô sang sử dụng hiệu quả. Các kỹ thuật như đào tạo theo ngữ cảnh dài tốt hơn, tối ưu hóa sự chú ý và nén bộ đệm khóa/giá trị nhằm mục đích giảm vấn đề 'lạc giữa chừng' và đường cong chi phí. Thế hệ tăng cường truy xuất sẽ vẫn là một sự bổ sung thực tế, chỉ tìm nạp các khối có liên quan thay vì trả tiền để xử lý hàng triệu mã thông báo mỗi cuộc gọi. Mong đợi 'mô hình có thể sử dụng cửa sổ của nó đáng tin cậy đến mức nào' quan trọng hơn con số tối đa của tiêu đề.
Triển khai trong thế giới thực
Dán toàn bộ hợp đồng hoặc tài liệu nghiên cứu để mô hình có thể trả lời các câu hỏi về nó mà không làm mất các phần trước đó.
Phiên mã hóa dài trong đó trợ lý cần giữ nhiều tệp và các thay đổi trước đó ở chế độ xem cùng một lúc.
Các bot hỗ trợ khách hàng phải ghi nhớ toàn bộ cuộc trò chuyện để duy trì tính nhất quán.
Phân tích các nhật ký hoặc bản ghi lớn trong đó các chi tiết chính có thể nằm cách xa nhau và có nguy cơ 'bị mất ở giữa'.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Context Windows quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Chia tỷ lệ cửa sổ ngữ cảnh YaRN
Câu hỏi thường gặp
What is Context Windows?
Cửa sổ ngữ cảnh là lượng văn bản tối đa — được đo bằng mã thông báo — mà một mô hình có thể đọc và ghi nhớ cùng một lúc. Nó đặt ra giới hạn cứng về lượng cuộc trò chuyện, tài liệu hoặc hướng dẫn của bạn mà mô hình thực sự có thể sử dụng.
Cửa sổ ngữ cảnh của mô hình đo lường điều gì?
Cửa sổ ngữ cảnh là ngân sách mã thông báo cho một yêu cầu - lượng văn bản mà mô hình có thể đọc và phản hồi cùng một lúc.
Mã thông báo trong bối cảnh này là gì?
Mô hình xử lý văn bản dưới dạng mã thông báo, là các đoạn từ phụ; trong tiếng Anh, một mã thông báo có giá trị trung bình khoảng 3/4 từ.
Những mục nào được tính vào cửa sổ ngữ cảnh trong một yêu cầu?
Toàn bộ yêu cầu chia sẻ một ngân sách: hướng dẫn, lịch sử hội thoại, mọi nội dung được dán và đầu ra của chính mô hình đều tiêu thụ mã thông báo.
Tại sao cửa sổ ngữ cảnh lớn hơn không tự động tốt hơn?
Chi phí chú ý tăng lên theo bình phương của số lượng mã thông báo và hiệu ứng 'bị mất ở giữa' có nghĩa là các chi tiết ở giữa tài liệu có thể được thu hồi kém tin cậy hơn.
Tại sao thế hệ tăng cường truy xuất (RAG) thường được sử dụng thay vì đưa mọi thứ vào cửa sổ ngữ cảnh?
RAG chỉ truy xuất những phần có liên quan của cơ sở tri thức, tránh chi phí đưa lượng văn bản khổng lồ vào mô hình theo mọi yêu cầu.