Tiếp theoHướng dẫn tiếp theo
Khối thưa thớt và sự chú ý thưa thớt bản địa
kỹ thuật
HƯỚNG DẪN AI về ngôn ngữ
Sự chú ý thưa thớt làm cho Transformers rẻ hơn bằng cách cho phép mỗi mã thông báo chỉ tham gia vào một tập hợp con các mã thông báo khác được lựa chọn cẩn thận thay vì tất cả chúng.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Điều này đánh đổi một chút phạm vi tiếp cận toàn cầu để tiết kiệm đáng kể bộ nhớ và tính toán trên các chuỗi dài.
Sự tự chú ý hoàn toàn so sánh mọi mã thông báo với mọi mã thông báo khác, do đó chi phí tăng theo bình phương độ dài chuỗi, điều này trở nên khó khăn đối với các tài liệu dài. Sự chú ý thưa thớt thay thế mô hình dày đặc bằng một mô hình có cấu trúc. Các thiết kế phổ biến bao gồm sự chú ý của cửa sổ trượt (cục bộ), trong đó mỗi mã thông báo chỉ nhìn thấy những hàng xóm lân cận; các mô hình sải bước hoặc giãn ra bỏ qua phía trước để đến bối cảnh ở xa một cách rẻ tiền; và mã thông báo toàn cầu, một số vị trí đặc biệt liên quan đến mọi thứ và mọi thứ đều liên quan đến, đóng vai trò là trung tâm thông tin. Các mô hình như Longformer, BigBird và Sparse Transformer kết hợp những mô hình này để tổng số kết nối tăng lên gần như tuyến tính thay vì bậc hai, tạo ra bối cảnh từ hàng nghìn đến hàng chục nghìn mã thông báo.
Longformer xử lý toàn bộ bài báo khoa học hoặc tài liệu pháp lý trong một lần sử dụng cửa sổ trượt cộng với sự chú ý toàn cầu
BigBird xử lý các chuỗi trả lời câu hỏi tài liệu dài và trình tự bộ gen với sự chú ý ở quy mô tuyến tính
Tóm tắt văn bản dài một cuốn sách mà sự chú ý hoàn toàn sẽ làm cạn kiệt bộ nhớ GPU
Hệ thống truy xuất và trò chuyện theo ngữ cảnh dài sử dụng mã thông báo trung tâm toàn cầu để định tuyến thông tin chính qua hàng nghìn mã thông báo
Sự chú ý thưa thớt vẫn là trọng tâm của mô hình hóa ngữ cảnh dài, ngày càng được kết hợp với các hạt nhân được tối ưu hóa như FlashAttention và với tính thưa thớt đã học hoặc động để chọn mã thông báo nào cần chú ý cho mỗi đầu vào. Khi các cửa sổ ngữ cảnh mở rộng tới hàng triệu mã thông báo, các ngăn xếp kết hợp sẽ trộn lẫn các lớp không gian trạng thái, dày đặc và thưa thớt. Mong đợi các hạt nhân thưa thớt nhận biết phần cứng và sự chú ý dựa trên định tuyến để tiếp tục giảm chi phí đọc các đầu vào rất dài.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Sự chú ý thưa thớt làm cho Transformers rẻ hơn bằng cách cho phép mỗi mã thông báo chỉ tham gia vào một tập hợp con các mã thông báo khác được lựa chọn cẩn thận thay vì tất cả chúng. Điều này đánh đổi một chút phạm vi tiếp cận toàn cầu để tiết kiệm đáng kể bộ nhớ và tính toán trên các chuỗi dài.
Sự chú ý hoàn toàn so sánh mọi mã thông báo với mọi mã thông báo khác, đưa ra chi phí O(N bình phương) về thời gian và bộ nhớ.
Sự chú ý cục bộ hạn chế chế độ xem của từng mã thông báo ở một cửa sổ cố định gồm các mã thông báo xung quanh, giúp cắt giảm đáng kể chi phí.
Một số mã thông báo toàn cầu kết nối với tất cả các vị trí, cho phép thông tin truyền qua toàn bộ chuỗi với giá rẻ.
BigBird cho thấy mô hình thưa thớt của nó là một công cụ xấp xỉ phổ quát của các hàm chuỗi trong khi chia tỷ lệ gần như tuyến tính.
Bằng cách giới hạn các kết nối tới các cửa sổ cục bộ cộng với một số liên kết toàn cầu, tổng số kết nối sẽ tăng lên một cách tuyến tính.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Khối thưa thớt và sự chú ý thưa thớt bản địa
kỹ thuật