Tiếp theoHướng dẫn tiếp theo
Chú ý truy vấn được nhóm
Ngôn ngữ AI
HƯỚNG DẪN AI về ngôn ngữ
Chú ý cửa sổ trượt giới hạn mỗi truy vấn trong một lân cận cục bộ được chỉ định.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Với kích thước cửa sổ cố định, công việc chú ý từng cặp của nó có thể tăng tuyến tính theo độ dài chuỗi, trong khi luồng thông tin và nhu cầu bộ đệm phụ thuộc vào kiến trúc tổng thể.
Ordinary dense self-attention forms token-pair interactions across a sequence. A sliding-window mask limits the allowed interactions to a local neighborhood, with the exact convention stated by the model or implementation. If N positions each consider at most W keys, the pairwise work is proportional to N times W, which is linear in N when W remains fixed. Other computations still contribute to a complete layer’s cost. For a causal convention in which W includes the current token, a query at position i can see positions i−W+1 through i, clipped at the beginning of the sequence. Doubling N with the same W doubles this pairwise term instead of quadrupling it. Stacking local layers can propagate information beyond a single layer’s direct neighborhood, but an expanded theoretical receptive field is not a guarantee of accurate recall over that entire span. The original Mistral 7B report specifies a 4096 window size and a rolling buffer. Its architecture table lists context_len as 8192, separate from the larger theoretical span from stacking layers. It maps cached keys and values for timestep i to slot i modulo W so older entries can be overwritten when appropriate. This bounded local-layer cache should not be generalized to every layer in a hybrid model. Gemma 2’s report describes alternating local and global attention layers with their own specified spans. Longformer instead assigns global attention to selected token locations: those tokens attend across the sequence and other tokens can attend to them. These are distinct ways to add nonlocal interactions. Their accuracy, memory, and latency require evaluation in the actual architecture.
Kiểm tra mặt nạ nhân quả mà cửa sổ của nó bao gồm token hiện tại.
Nghiên cứu cửa sổ cục bộ và bộ đệm cuộn được nêu của Mistral 7B.
So sánh các lớp chú ý cục bộ và toàn cục xen kẽ của Gemma 2.
Theo dõi các liên kết token toàn cục hai chiều ở Longformer.
Các thí nghiệm chú ý có thể so sánh kích thước cửa sổ cục bộ, vị trí đặt token toàn cục và hỗn hợp các lớp cục bộ và đầy đủ trên các nhiệm vụ được xác định. Các đường dẫn thông tin lý thuyết dài hơn không tự động mang lại khả năng truy xuất các sự kiện từ xa đáng tin cậy, do đó cần đánh giá cả tính toán và hành vi nhiệm vụ. Một so sánh thực tế nên ghi lại các quy ước mặt nạ, chính sách bộ đệm, độ dài chuỗi và các lớp nào vẫn không cục bộ. Các nhà nghiên cứu cũng có thể kiểm tra các tổ hợp với các cơ chế chuỗi khác, nhưng một phần mở rộng được đề xuất cần có các phép đo riêng. Tính cục bộ kiến trúc cung cấp một sự đánh đổi tài nguyên hữu ích mà không đảm bảo tăng tốc cố định hoặc chất lượng suy luận ngữ cảnh dài phổ quát.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Chú ý cửa sổ trượt giới hạn mỗi truy vấn trong một lân cận cục bộ được chỉ định. Với kích thước cửa sổ cố định, công việc chú ý từng cặp của nó có thể tăng tuyến tính theo độ dài chuỗi, trong khi luồng thông tin và nhu cầu bộ đệm phụ thuộc vào kiến trúc tổng thể.
Phát biểu này liên quan đến số hạng từng cặp với cửa sổ cố định, không phải mọi nguồn tính toán của mô hình.
Các đường dẫn sâu hơn mở rộng phạm vi ảnh hưởng lý thuyết; khả năng ghi nhớ thực tế vẫn cần được đánh giá.
Chính sách bộ đệm của lớp cục bộ tuân theo mặt nạ của nó; các lớp toàn cục lai có thể có các yêu cầu khác nhau.
Đây là hỗn hợp của kiến trúc được đặt tên, không phải là sự đảm bảo về suy luận tầm xa.
Trong trường hợp nhân quả, truy vấn sẽ nhìn thấy chính nó và W trừ 1 mã thông báo ngay trước nó, không bao giờ thấy các mã thông báo trong tương lai.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Chú ý truy vấn được nhóm
Ngôn ngữ AI