Xu hướng vị trí ALiBi
ALiBi (Chú ý với xu hướng tuyến tính) là một cách thông minh để mang lại cho người biến đổi cảm giác về trật tự từ mà không cần nhúng vị trí truyền thống.
Tổng quan
It lets a model trained on short text handle much longer inputs at inference time.
Lặn sâu
Máy biến áp không có sẵn khái niệm về thứ tự từ, vì vậy chúng cần một cách để mã hóa vị trí. Cách tiếp cận cổ điển thêm phần nhúng vị trí vào vectơ mã thông báo. ALiBi, được Press, Smith và Lewis giới thiệu vào năm 2021, đã loại bỏ hoàn toàn những thứ đó. Thay vào đó, nó thúc đẩy trực tiếp điểm chú ý: khi mã thông báo truy vấn nhìn vào mã thông báo chính, ALiBi sẽ trừ một hình phạt tỷ lệ thuận với khoảng cách giữa chúng. Các mã thông báo ở xa sẽ bị phạt lớn hơn, do đó, mô hình đương nhiên sẽ ưu tiên bối cảnh ở gần hơn. Mỗi đầu chú ý có độ dốc hình phạt cố định riêng, vì vậy một số đầu nhìn cục bộ trong khi những đầu khác nhìn xa hơn. Bởi vì độ lệch chỉ là một hàm của khoảng cách, ALiBi ngoại suy một cách khéo léo thành các chuỗi dài hơn nhiều so với các chuỗi được thấy trong quá trình huấn luyện.
Hiểu biết kỹ thuật
Đối với truy vấn ở vị trí i và khóa ở vị trí j, ALiBi thêm m * (j - i) vào điểm chú ý thô trước softmax, trong đó m là hằng số dành riêng cho phần đầu (các sườn tạo thành một chuỗi hình học như 1/2, 1/4, 1/8). Vì j nhỏ hơn hoặc bằng i trong sự chú ý nhân quả, số hạng này bằng 0 hoặc âm, trừng phạt các mã thông báo ở xa. Không có tham số đã học và không có phần nhúng nào được thêm vào, do đó chi phí duy nhất là ma trận sai lệch được tính toán trước.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của xu hướng vị trí ALiBi
ALiBi đã chứng minh rằng các thành kiến tương đối, dựa trên khoảng cách sẽ đánh bại việc nhúng vị trí tuyệt đối để khái quát hóa độ dài và ý tưởng đó hiện đã thấm vào thiết kế ngữ cảnh dài hiện đại. Thay vào đó, một số mô hình gần đây ưu tiên nhúng quay (RoPE), nhưng ALiBi vẫn phổ biến ở những nơi có vấn đề ngoại suy cực độ và được sử dụng trong các mô hình như BLOOM và MPT. Mong đợi thử nghiệm kết hợp tiếp tục, kết hợp các xu hướng khoảng cách với tỷ lệ RoPE, khi các phòng thí nghiệm đẩy các cửa sổ ngữ cảnh tới hàng triệu mã thông báo mà không cần đào tạo lại từ đầu.
Triển khai trong thế giới thực
Đào tạo một chatbot trên các ví dụ 1.024 mã thông báo nhưng triển khai nó trên các tài liệu 4.096 mã thông báo mà không cần đào tạo lại, dựa vào phép ngoại suy của ALiBi.
Mô hình đa ngôn ngữ BLOOM 176B, sử dụng ALiBi để xử lý vị trí.
Các mô hình MPT của KhảmML, đã sử dụng ALiBi để quảng cáo hiệu quả độ dài ngữ cảnh không giới hạn khi suy luận.
Tóm tắt các hợp đồng pháp lý dài vượt quá thời lượng đào tạo ban đầu của mô hình, trong đó xu hướng bối cảnh lân cận giúp duy trì sự chú ý mạch lạc.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ALiBi Position Bias quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Nội suy vị trí cho phần mở rộng ngữ cảnh
Câu hỏi thường gặp
What is ALiBi Position Bias?
ALiBi (Chú ý với xu hướng tuyến tính) là một cách thông minh để mang lại cho người biến đổi cảm giác về trật tự từ mà không cần nhúng vị trí truyền thống. Nó cho phép một mô hình được huấn luyện trên văn bản ngắn xử lý các đầu vào dài hơn nhiều tại thời điểm suy luận.
ALiBi có nghĩa là gì?
ALiBi là viết tắt của Chú ý với Xu hướng tuyến tính, được đặt tên theo hình phạt tuyến tính mà nó cộng vào điểm chú ý.
ALiBi xử phạt các token ở xa như thế nào?
ALiBi trừ đi một giá trị tỷ lệ với khoảng cách khóa truy vấn so với điểm chú ý, do đó, các mã thông báo ở xa hơn sẽ có ít trọng số hơn.
Ưu điểm thực tế nổi tiếng nhất của ALiBi là gì?
Vì độ lệch chỉ phụ thuộc vào khoảng cách nên các mô hình được huấn luyện trên các chuỗi ngắn có thể xử lý các chuỗi dài hơn nhiều tại thời điểm suy luận.
Có gì khác biệt về độ lệch tuyến tính giữa các đầu sự chú ý?
ALiBi chỉ định cho mỗi đầu một độ dốc cố định, riêng biệt (ví dụ: 1/2, 1/4, 1/8), do đó các đầu khác nhau tham dự ở các phạm vi khác nhau.
So với các nhúng nhúng vị trí truyền thống, ALiBi bổ sung thêm bao nhiêu tham số đã học?
ALiBi không giới thiệu các tham số mới đã học; độ dốc trên đầu là các hằng số được xác định trước.