HƯỚNG DẪN AI về ngôn ngữ

Cửa sổ trượt Chú ý

Chú ý cửa sổ trượt giới hạn mỗi truy vấn trong một lân cận cục bộ được chỉ định.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của sự chú ý của cửa sổ trượt
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Với kích thước cửa sổ cố định, công việc chú ý từng cặp của nó có thể tăng tuyến tính theo độ dài chuỗi, trong khi luồng thông tin và nhu cầu bộ đệm phụ thuộc vào kiến trúc tổng thể.

Lặn sâu

Ordinary dense self-attention forms token-pair interactions across a sequence. A sliding-window mask limits the allowed interactions to a local neighborhood, with the exact convention stated by the model or implementation. If N positions each consider at most W keys, the pairwise work is proportional to N times W, which is linear in N when W remains fixed. Other computations still contribute to a complete layer’s cost. For a causal convention in which W includes the current token, a query at position i can see positions i−W+1 through i, clipped at the beginning of the sequence. Doubling N with the same W doubles this pairwise term instead of quadrupling it. Stacking local layers can propagate information beyond a single layer’s direct neighborhood, but an expanded theoretical receptive field is not a guarantee of accurate recall over that entire span. The original Mistral 7B report specifies a 4096 window size and a rolling buffer. Its architecture table lists context_len as 8192, separate from the larger theoretical span from stacking layers. It maps cached keys and values for timestep i to slot i modulo W so older entries can be overwritten when appropriate. This bounded local-layer cache should not be generalized to every layer in a hybrid model. Gemma 2’s report describes alternating local and global attention layers with their own specified spans. Longformer instead assigns global attention to selected token locations: those tokens attend across the sequence and other tokens can attend to them. These are distinct ways to add nonlocal interactions. Their accuracy, memory, and latency require evaluation in the actual architecture.

Triển khai trong thế giới thực

Kiểm tra mặt nạ nhân quả mà cửa sổ của nó bao gồm token hiện tại.

Nghiên cứu cửa sổ cục bộ và bộ đệm cuộn được nêu của Mistral 7B.

So sánh các lớp chú ý cục bộ và toàn cục xen kẽ của Gemma 2.

Theo dõi các liên kết token toàn cục hai chiều ở Longformer.

Tương lai của sự chú ý của cửa sổ trượt

Các thí nghiệm chú ý có thể so sánh kích thước cửa sổ cục bộ, vị trí đặt token toàn cục và hỗn hợp các lớp cục bộ và đầy đủ trên các nhiệm vụ được xác định. Các đường dẫn thông tin lý thuyết dài hơn không tự động mang lại khả năng truy xuất các sự kiện từ xa đáng tin cậy, do đó cần đánh giá cả tính toán và hành vi nhiệm vụ. Một so sánh thực tế nên ghi lại các quy ước mặt nạ, chính sách bộ đệm, độ dài chuỗi và các lớp nào vẫn không cục bộ. Các nhà nghiên cứu cũng có thể kiểm tra các tổ hợp với các cơ chế chuỗi khác, nhưng một phần mở rộng được đề xuất cần có các phép đo riêng. Tính cục bộ kiến trúc cung cấp một sự đánh đổi tài nguyên hữu ích mà không đảm bảo tăng tốc cố định hoặc chất lượng suy luận ngữ cảnh dài phổ quát.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
  • Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
  • Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.

coi chừng

  • Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
  • Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
  • Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.

Các bước tiếp theo

  1. Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
  2. Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
  3. Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
  4. Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Làm bài kiểm tra về Chú ý Cửa sổ Trượt

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Chú ý Cửa sổ Trượt là gì?

Chú ý cửa sổ trượt giới hạn mỗi truy vấn trong một lân cận cục bộ được chỉ định. Với kích thước cửa sổ cố định, công việc chú ý từng cặp của nó có thể tăng tuyến tính theo độ dài chuỗi, trong khi luồng thông tin và nhu cầu bộ đệm phụ thuộc vào kiến trúc tổng thể.

Với cửa sổ W cố định, số hạng chú ý từng cặp N nhân W tăng như thế nào khi độ dài chuỗi N tăng?

Phát biểu này liên quan đến số hạng từng cặp với cửa sổ cố định, không phải mọi nguồn tính toán của mô hình.

Làm thế nào các lớp chú ý cục bộ chồng lên nhau có thể lan truyền thông tin vượt quá lân cận trực tiếp của một lớp?

Các đường dẫn sâu hơn mở rộng phạm vi ảnh hưởng lý thuyết; khả năng ghi nhớ thực tế vẫn cần được đánh giá.

Đối với một lớp chú ý nhân quả thuần túy cục bộ, tại sao chính sách bộ đệm có thể loại bỏ các khóa cũ hơn cửa sổ hoạt động của nó?

Chính sách bộ đệm của lớp cục bộ tuân theo mặt nạ của nó; các lớp toàn cục lai có thể có các yêu cầu khác nhau.

Mẫu chú ý nào được báo cáo của Gemma 2 mô tả xuyên suốt các lớp của nó?

Đây là hỗn hợp của kiến trúc được đặt tên, không phải là sự đảm bảo về suy luận tầm xa.

Đối với cửa sổ trượt nhân quả có kích thước W, phím nào có thể truy vấn ở vị trí tôi tham dự?

Trong trường hợp nhân quả, truy vấn sẽ nhìn thấy chính nó và W trừ 1 mã thông báo ngay trước nó, không bao giờ thấy các mã thông báo trong tương lai.