Cơ chế chú ý
Sự chú ý cho phép mô hình quyết định những từ nào khác trong câu quan trọng nhất khi diễn giải từng từ.
Tổng quan
It is the core idea that made the transformer — and therefore modern AI like ChatGPT — possible.
Lặn sâu
Sự chú ý trả lời một câu hỏi đơn giản cho mỗi từ: tôi nên xem những từ nào khác để hiểu từ này? Bài báo năm 2017 'Sự chú ý là tất cả những gì bạn cần' của Vaswani và các đồng nghiệp tại Google đã giới thiệu máy biến áp sử dụng sự chú ý làm động cơ chính và loại bỏ các thiết kế lặp lại cũ hơn. Mỗi mã thông báo được chuyển thành ba vectơ: một truy vấn (tôi đang tìm kiếm gì?), một khóa (tôi cung cấp những gì?) và một giá trị (thông tin tôi mang theo). Truy vấn của mã thông báo được so sánh với mọi khóa của mã thông báo khác để tạo ra trọng số chú ý, sau đó kết hợp các giá trị lại với nhau. Sự tự chú ý thực hiện điều này trong một trình tự để mỗi từ có thể trực tiếp liên quan đến từng từ khác. Sự chú ý của nhiều người thực hiện song song nhiều so sánh như vậy, mỗi so sánh tập trung vào các mẫu khác nhau.
Hiểu biết kỹ thuật
Phép toán được chia tỷ lệ theo tích số chấm chú ý: softmax(QK^T / √d_k) V. Tích số chấm của các truy vấn và khóa cho điểm mức độ liên quan của từng cặp; chia cho căn bậc hai của thứ nguyên chính (√d_k) sẽ giữ cho các điểm đó không tăng quá lớn; softmax biến chúng thành các trọng số có tổng bằng một; và nhân với V sẽ tạo ra một tập hợp các giá trị có trọng số. Bởi vì mọi mã thông báo đều so sánh với nhau nên chi phí tăng theo bình phương độ dài chuỗi — O(n²) — đó là lý do tại sao đầu vào dài lại đắt và tại sao các tối ưu hóa như FlashAttention tồn tại.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của cơ chế chú ý
Sự chú ý vẫn còn ở đây, nhưng chi phí bậc hai của nó thúc đẩy nghiên cứu mạnh mẽ. FlashAttention khiến sự chú ý tiêu chuẩn nhanh hơn nhiều và tiết kiệm bộ nhớ hơn bằng cách sắp xếp lại thứ tự tính toán. Các hướng mới hơn bao gồm sự chú ý thưa thớt và tuyến tính, sự chú ý được nhóm và nhiều truy vấn để thu nhỏ bộ nhớ trong quá trình tạo và các thiết kế kết hợp kết hợp sự chú ý với các mô hình không gian trạng thái như Mamba cho đầu vào rất dài. Mong đợi các hệ thống trong tương lai sẽ duy trì được tính linh hoạt của sự chú ý trong khi điều chỉnh đường cong chi phí để việc xử lý đầu vào dài như sách hoặc nhiều tài liệu trở thành thông lệ và giá cả phải chăng.
Triển khai trong thế giới thực
Dịch máy, trong đó mô hình chú ý đến các từ nguồn có liên quan khi tạo ra từng từ được dịch.
Tóm tắt, trong đó sự chú ý giúp người mẫu tập trung vào những câu quan trọng nhất trong một bài viết dài.
Trợ lý mã tham chiếu lại các định nghĩa biến trước đó khi dự đoán dòng tiếp theo.
Trả lời câu hỏi qua một tài liệu, trong đó sự chú ý liên kết các từ đặt câu hỏi với đoạn văn chứa câu trả lời.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Attention Mechanisms quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Cửa sổ trượt Chú ý
Câu hỏi thường gặp
What is Attention Mechanisms?
Sự chú ý cho phép mô hình quyết định những từ nào khác trong câu quan trọng nhất khi diễn giải từng từ. Chính ý tưởng cốt lõi đã khiến máy biến áp — và do đó là AI hiện đại như ChatGPT — trở nên khả thi.
Trong một câu, cơ chế chú ý làm gì?
Sự chú ý tính toán các trọng số quyết định mỗi mã thông báo sẽ vẽ bao nhiêu trên các mã thông báo khác khi hình thành biểu diễn của nó.
Bài báo mang tính bước ngoặt nào năm 2017 giới thiệu về kiến trúc máy biến áp?
'Sự chú ý là tất cả những gì bạn cần' (Vaswani và cộng sự, 2017) đã đề xuất máy biến áp dựa vào sự chú ý thay vì lặp lại.
Ba vectơ được tính toán cho mỗi mã thông báo được chú ý là gì?
Mỗi mã thông báo tạo ra một truy vấn, một khóa và một giá trị; các truy vấn được so khớp với các khóa để cân nhắc các giá trị.
Trong công thức softmax(QK^T / √d_k) V, tại sao lại chia cho √d_k?
Chia tỷ lệ theo căn bậc hai của kích thước chính sẽ ngăn chặn các sản phẩm chấm lớn có thể đẩy softmax thành các gradient nhỏ, giữ cho quá trình đào tạo ổn định.
Tại sao việc tự chú ý theo tiêu chuẩn lại trở nên đắt đỏ khi nhập liệu rất lâu?
Mọi mã thông báo đều liên quan đến mọi mã thông báo khác, do đó, số lượng so sánh có tỷ lệ là n2, khiến cho các chuỗi dài tốn kém về thời gian và bộ nhớ.